Cómo hacer scraping en Twitter (X.com): una guía paso a paso

¿Te gustaría probar Octo Browser con descuento?
Usa el código promocional OCTOSCRAPER para obtener un 30% de descuento en cualquier suscripción. Esta oferta solo es válida para nuevos usuarios.

Por qué hacer scraping en Twitter (X.com)

Twitter es una fuente de datos sobre el comportamiento de los usuarios, sus opiniones y las tendencias actuales. Al hacer scraping en X.com puedes:

• Analizar a tus competidores. Recopila datos de los perfiles de tus competidores en Twitter para monitorizar sus estrategias de marketing, anuncios de productos y las reacciones de la audiencia en tiempo real.

• Descubrir tendencias. Reúne hashtags populares en Twitter para adaptar rápidamente tu contenido o producto a las nuevas tendencias.

• Estudiar a los consumidores. Hacer scraping de reseñas, menciones de marca y respuestas en Twitter te permite comprender los puntos críticos y las expectativas de los clientes, lo que ayuda a mejorar el producto y aumentar las ventas.

Aspectos legales y éticos

X.com prohíbe hacer scraping de sus datos sin permiso. Violar estas reglas puede dar lugar a bloqueos de cuentas y de IP. Sin embargo, la jurisprudencia —especialmente en EE. UU.— reconoce que el scraping de datos disponibles públicamente es legal. Por ejemplo, en 2022, el Tribunal de Apelaciones del Noveno Circuito de EE. UU. confirmó que hacer scraping de información de acceso público no viola la Ley de Abuso y Fraude Informático (CFAA).

Para protegerte aún más, es mejor:

• hacer scraping únicamente de datos disponibles públicamente;

• evitar el scraping de perfiles privados y mensajes directos en Twitter;

• respetar una tasa de solicitudes permitida durante el scraping para no sobrecargar los servidores de X.com.

Evitar los bloqueos de X.com

Los sistemas de seguridad de X.com analizan el comportamiento del usuario a través de muchos parámetros. Por lo tanto, para obtener la máxima protección contra los bloqueos por web scraping, utiliza todas las medidas disponibles:

1. Toma pausas razonables entre solicitudes durante el scraping. Es importante no solo para evitar sobrecargar los servidores de X.com, sino también para introducir intervalos aleatorios entre solicitudes que simulen la actividad humana.

2. Utiliza proxies de alta calidad. Los sistemas de seguridad pueden bloquear una dirección IP que envíe demasiadas solicitudes. Para un scraping seguro, utiliza proxies y limita el número de solicitudes procedentes de una sola dirección.

3. Utiliza un navegador antidetección. Twitter identifica a los usuarios no solo por su comportamiento e instrucciones IP, sino también por sus huellas digitales, combinaciones únicas de docenas de parámetros del dispositivo. Una huella digital incluye muchos ajustes: versión del sistema operativo, geolocalización, zona horaria e idiomas, fuentes y extensiones instaladas, y muchos más. Por lo tanto, al hacer scraping, combina proxies con un navegador antidetección. En este tipo de navegador puedes crear perfiles virtuales con diferentes huellas digitales, y cada uno de ellos se presentará ante X.com como un usuario independiente en lugar de un único bot de scraping.

Importante: utiliza un perfil virtual independiente para cada cuenta de X.com y conecta proxies diferentes con IPs distintas a cada uno. Esto evita que los sistemas de seguridad de Twitter vinculen tus cuentas por configuraciones de dispositivo o IPs idénticas y te bloqueen por hacer scraping.

4. Prepara adecuadamente tus perfiles. Para que Twitter confíe en tus cuentas, necesitan cookies. Si vas a registrar una cuenta nueva desde cero, prepara el perfil virtual utilizando el Cookie Robot de Octo Browser. Si realizas el scraping utilizando cuentas de X.com ya existentes, exporta las cookies de tu navegador anterior e impórtalas en Octo.

Cómo hacer scraping de tweets

Para hacer scraping de publicaciones de X.com, necesitas cargar páginas web a través de un navegador en modo headless (por ejemplo, Octo) e interceptar solicitudes en segundo plano. Así es como se ve el scraping de tweets utilizando la biblioteca de código abierto Playwright:

from playwright.sync_api import sync_playwright
def scrape_tweet(url: str) -> dict:
    """
    Scrape a single tweet page for Tweet thread e.g.:
    https://twitter.com/Scrapfly_dev/status/1667013143904567296
    Return parent tweet, reply tweets and recommended tweets
    """
    _xhr_calls = []
    def intercept_response(response):
        """capture all background requests and save them"""
        # we can extract details from background requests
        if response.request.resource_type == "xhr":
            _xhr_calls.append(response)
        return response
    with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=False)
        context = browser.new_context(viewport={"width": 1920, "height": 1080})
        page = context.new_page()
        # enable background request intercepting:
        page.on("response", intercept_response)
        # go to url and wait for the page to load
        page.goto(url)
        page.wait_for_selector("[data-testid='tweet']")
        # find all tweet background requests:
        tweet_calls = [f for f in _xhr_calls if "TweetResultByRestId" in f.url]
        for xhr in tweet_calls:
            data = xhr.json()
            return data['data']['tweetResult']['result']
if __name__ == "__main__":    print(scrape_tweet("https://twitter.com/Scrapfly_dev/status/1664267318053179398"))

from playwright.sync_api import sync_playwright
def scrape_tweet(url: str) -> dict:
    """
    Scrape a single tweet page for Tweet thread e.g.:
    https://twitter.com/Scrapfly_dev/status/1667013143904567296
    Return parent tweet, reply tweets and recommended tweets
    """
    _xhr_calls = []
    def intercept_response(response):
        """capture all background requests and save them"""
        # we can extract details from background requests
        if response.request.resource_type == "xhr":
            _xhr_calls.append(response)
        return response
    with sync_playwright() as pw:
        browser = pw.chromium.launch(headless=False)
        context = browser.new_context(viewport={"width": 1920, "height": 1080})
        page = context.new_page()
        # enable background request intercepting:
        page.on("response", intercept_response)
        # go to url and wait for the page to load
        page.goto(url)
        page.wait_for_selector("[data-testid='tweet']")
        # find all tweet background requests:
        tweet_calls = [f for f in _xhr_calls if "TweetResultByRestId" in f.url]
        for xhr in tweet_calls:
            data = xhr.json()
            return data['data']['tweetResult']['result']
if __name__ == "__main__":    print(scrape_tweet("https://twitter.com/Scrapfly_dev/status/1664267318053179398"))

El script carga un tweet a través de un navegador headless e intercepta las solicitudes en segundo plano. Luego filtra aquellas que contienen datos de tweets.

Nota: Para hacer scraping debes esperar hasta que aparezcan los tweets en la página HTML; esto indica que las solicitudes en segundo plano han finalizado.

Cómo hacer scraping de perfiles

Puedes hacer scraping de los perfiles de usuario de X.com de la misma manera que de los tweets: capturando las solicitudes en segundo plano en un navegador headless. Utiliza el siguiente algoritmo para obtener los metadatos del perfil:

1. Inicia sesión en una cuenta de Twitter.

2. Abre la página del usuario en X.com.

3. Extrae el nombre, la biografía/descripción, el número de seguidores y la fecha de creación de la cuenta.

4. Añade retrasos para que Twitter no detecte actividad sospechosa en el scraper.

Cómo hacer scraping de búsquedas, respuestas y cronologías (timelines)

Utilizando la biblioteca Playwright puedes hacer scraping incluso de las partes dinámicas de X.com:

• Búsqueda. El script simula escribir una consulta en el cuadro de búsqueda de Twitter y presiona Enter. Luego hace scroll y extrae datos para recopilar tantas publicaciones relevantes como sea posible para la palabra clave.

• Respuestas. Para obtener respuestas a una publicación específica, Playwright abre la página de esa publicación. El script se enfoca en el área de comentarios, hace scroll para cargar el hilo completo y extrae el texto de la respuesta y los nombres de los autores.

• Cronologías. El script abre la página principal del perfil y hace scroll en bucle para recopilar todas las publicaciones recientes del usuario.

Almacenamiento y exportación de datos

Después de hacer scraping, estructura los datos recopilados. Playwright extrae los datos del HTML, por lo que el resultado será una lista de registros estructurados (por ejemplo, diccionarios de Python). Puedes exportarlos a un formato de hoja de cálculo como CSV o Excel para poder cargarlos posteriormente en herramientas de análisis.

Análisis de los datos recopilados

Una vez recopilados los datos, es necesario analizarlos. Dependiendo de tus objetivos, puedes utilizar diferentes métodos:

• Análisis de sentimiento. Evalúa el tono emocional de las publicaciones y respuestas para comprender cómo se sienten los usuarios con respecto a tu producto o competidores: positivo, negativo o neutral.

• Agrupación (Clustering). Agrupa las publicaciones recopiladas por temas. Para una empresa de productos, las agrupaciones podrían ser: "quejas sobre envíos", "reseñas positivas de productos", "solicitudes de funciones".

• Identificación de influencers. Encuentra usuarios con un gran número de seguidores y un alto engagement que debatan sobre tu nicho. Luego puedes ponerte en contacto con ellos para colaborar y potencialmente convertirlos en defensores de la marca.

Preguntas frecuentes

¿Es legal hacer scraping en Twitter (X.com)?

Hacer scraping de datos disponibles públicamente no es ilegal en sí mismo. Sin embargo, X.com prohíbe el scraping. Técnicamente puedes extraer los datos, pero Twitter tiene derecho a bloquear tu cuenta o dirección IP por violar las normas de la plataforma.

¿Se puede hacer scraping en Twitter con Python?

Sí, Python es un lenguaje muy popular para la automatización de web scraping. Puedes hacer scraping con bibliotecas como Playwright, que ayudan a eludir las limitaciones de la API oficial de Twitter.

¿Cómo hacer scraping en Twitter sin que te bloqueen?

Para reducir el riesgo de bloqueos por web scraping debes:

• Utilizar proxies.

• Utilizar un navegador antidetección (por ejemplo, Octo Browser) para crear perfiles con diferentes huellas digitales para que los sistemas de seguridad de X.com no puedan rastrear tu actividad hasta un único usuario.

• Añadir retrasos aleatorios y con comportamiento humano entre las solicitudes.

• Guardar las cookies en un navegador antidetección.