Como extrair dados do Twitter (X.com) — um guia passo a passo

Por que fazer scraping do Twitter (X.com)

O Twitter é uma fonte de dados sobre comportamento do usuário, opiniões e tendências atuais. Ao fazer scraping do X.com, você pode:

• Analisar seus concorrentes. Coleta de dados de perfis de concorrentes no Twitter para monitorar suas estratégias de marketing, anúncios de produtos e reações do público em tempo real.

• Descobrir tendências. Reunir hashtags populares no Twitter para rapidamente adaptar seu conteúdo ou produto a novas tendências.

• Estudar os consumidores. Fazer scraping de avaliações, menções de marca e respostas no Twitter permite entender os pontos de dor e expectativas dos clientes, o que ajuda a melhorar o produto e aumentar as vendas.

Aspectos legais e éticos

X.com proíbe a extração de seus dados sem permissão. A violação dessas regras pode levar a banimentos de contas e IPs. No entanto, a jurisprudência — notavelmente nos EUA — reconhece que a extração de dados publicamente disponíveis é legal. Por exemplo, em 2022, o Tribunal de Apelações do Nono Circuito dos EUA confirmou que a extração de informações acessíveis ao público não viola o Ato de Fraude e Abuso de Computadores (CFAA).

Para se proteger ainda mais, é melhor:

• fazer scraping apenas de dados disponíveis publicamente;

• evitar fazer scraping de perfis privados e mensagens diretas no Twitter;

• respeitar uma taxa de solicitação permitida durante o scraping para não sobrecarregar os servidores de X.com.

Como contornar os bloqueios de X.com

Os sistemas de segurança de X.com analisam o comportamento do usuário em muitos parâmetros. Portanto, para proteção máxima contra banimentos de web scraping, use todas as medidas disponíveis:

1. Faça pausas razoáveis entre solicitações durante o scraping. É importante não apenas evitar sobrecarregar os servidores de X.com, mas também introduzir intervalos aleatórios entre as solicitações para que se assemelhem à atividade humana.

2. Use proxies de alta qualidade. Os sistemas de segurança podem bloquear um endereço IP que envia muitas solicitações. Para scraping seguro, use proxies e limite o número de solicitações originadas de um único endereço.

3. Use um navegador antidetecção. O Twitter identifica usuários não só pelo comportamento e endereços IP, mas também por impressões digitais, combinações únicas de dezenas de parâmetros de dispositivo. Uma impressão digital inclui muitas configurações: versão do SO, geolocalização, fuso horário e idiomas, fontes instaladas e extensões, e muito mais. Portanto, ao fazer scraping, combine proxies com um navegador antidetecção. Em um navegador assim você pode criar perfis virtuais com diferentes impressões digitais, e cada um parecerá para X.com como um usuário separado em vez de um único bot de scraping.

Importante: use um perfil virtual separado para cada conta de X.com e conecte diferentes proxies com diferentes IPs a cada um. Isso impede que os sistemas de segurança do Twitter associem suas contas por configurações idênticas de dispositivo ou IPs e bloqueiem você por fazer scraping.

4. Prepare adequadamente seus perfis. Para que o Twitter confie nas suas contas, elas precisam de cookies. Se você estiver registrando uma nova conta do zero, prepare o perfil virtual usando o Cookie Robot do Octo Browser. Se você faz scraping usando contas preexistentes do X.com, exporte cookies do seu navegador anterior e importe-os para o Octo.

Como fazer scraping de tweets

Para extrair mensagens do X.com, você precisa carregar páginas da web através de um navegador em modo sem cabeça (por exemplo, Octo) e interceptar solicitações em segundo plano. Veja como o scraping de tweets usando a biblioteca de código aberto Playwright funciona:

from playwright.sync_api import sync_playwright

def scrape_tweet(url: str) -> dict:

"""

Scrape a single tweet page for Tweet thread e.g.:

https://twitter.com/Scrapfly_dev/status/1667013143904567296

Return parent tweet, reply tweets and recommended tweets

"""

_xhr_calls = []

def intercept_response(response):

"""capture all background requests and save them"""

# we can extract details from background requests

if response.request.resource_type == "xhr":

_xhr_calls.append(response)

return response

with sync_playwright() as pw:

browser = pw.chromium.launch(headless=False)

context = browser.new_context(viewport={"width": 1920, "height": 1080})

page = context.new_page()

# enable background request intercepting:

page.on("response", intercept_response)

# go to url and wait for the page to load

page.goto(url)

page.wait_for_selector("[data-testid='tweet']")

# find all tweet background requests:

tweet_calls = [f for f in _xhr_calls if "TweetResultByRestId" in f.url]

for xhr in tweet_calls:

data = xhr.json()

return data['data']['tweetResult']['result']

if __name__ == "__main__": print(scrape_tweet("https://twitter.com/Scrapfly_dev/status/1664267318053179398"))

O script carrega um tweet através de um navegador sem cabeça e intercepta solicitações em segundo plano. Em seguida, filtra aquelas que contêm dados de tweet.

Nota: Para fazer scraping, você deve esperar até que os tweets apareçam na página HTML — isto indica que as solicitações em segundo plano foram concluídas.

Como fazer scraping de perfis

Você pode extrair perfis de usuários do X.com da mesma forma que os tweets: capturando solicitações em segundo plano em um navegador sem cabeça. Use o seguinte algoritmo para obter metadados de perfil:

1. Faça login em uma conta do Twitter.

2. Abra a página do usuário no X.com.

3. Extraia nome, biografia/descrição, contagem de seguidores e data de criação da conta.

4. Adicione atrasos para que o Twitter não sinalize o scraper por atividade suspeita.

Como fazer scraping de pesquisa, respostas e linhas do tempo

Usando a biblioteca Playwright você pode extrair até mesmo as partes dinâmicas do X.com:

• Pesquisa. O script simula digitar uma consulta na caixa de pesquisa do Twitter e pressiona Enter. Em seguida, ele rola e extrai dados para raspar o máximo de postagens relevantes possível para a palavra-chave.

• Respostas. Para obter respostas a uma publicação específica, o Playwright abre a página dessa publicação. O script foca na área de comentários, rola para carregar todo o fio e extrai o texto das respostas e os nomes dos autores.

• Linhas do tempo. O script abre a página principal do perfil e rola em um loop para raspar todas as postagens recentes do usuário.

Armazenamento e exportação de dados

Após a extração, estruture os dados coletados. O Playwright extrai dados do HTML, então a saída será uma lista de registros estruturados (por exemplo, dicionários Python). Você pode exportá-los para um formato de planilha, como CSV ou Excel, para serem carregados em ferramentas de análise posteriormente.

Análise de dados coletados

Uma vez que os dados são extraídos, você precisa analisá-los. Dependendo dos seus objetivos, você pode usar métodos diferentes:

• Análise de sentimento. Avalie o tom emocional de postagens e respostas para entender como os usuários se sentem sobre o seu produto ou concorrentes — positivo, negativo ou neutro.

• Agrupamento. Agrupe postagens coletadas por tópicos. Para uma empresa de produtos, os agrupamentos podem ser: “reclamações de entrega”, “avaliações positivas de produtos”, “sugestões de recursos”.

• Identificação de influenciadores. Encontre usuários com grandes quantidades de seguidores e alto engajamento que discutem seu nicho. Você pode entrar em contato com eles para colaboração e potencialmente transformá-los em defensores da marca.

FAQ

Fazer scraping no Twitter (X.com) é legal?

Raspar dados publicamente disponíveis não é inerentemente ilegal. No entanto, X.com proíbe a extração de dados. Tecnicamente, você pode raspar os dados, mas o Twitter tem o direito de bloquear sua conta ou endereço IP por violar as regras da plataforma.

É possível raspar o Twitter usando Python?

Sim, Python é uma linguagem popular para automação de scraping na web. Você pode fazer scraping com bibliotecas como Playwright, que ajudam a contornar as limitações da API oficial do Twitter.

Como raspar o Twitter sem ser bloqueado?

Para reduzir o risco de banimentos por fazer scraping na web, você deve:

• Usar proxies.

• Usar um navegador antidetecção (por exemplo, Octo Browser) para criar perfis com diferentes impressões digitais para que os sistemas de segurança de X.com não consigam rastrear sua atividade de volta para um único usuário.

• Adicionar atrasos aleatórios e semelhantes aos humanos entre as solicitações.

• Salvar cookies em um navegador antidetecção.