Cómo usar un LLM para el scraping sin gastar de más en tokens

Cómo usar un LLM para el scraping sin gastar de más en tokens
Markus_automation
Markus_automation

Expert in data parsing and automation

Los scrapers tradicionales fallan en sitios web con estructuras dinámicas: las clases se generan de nuevo, XPath deja de encontrar elementos y las expresiones regulares se vuelven cada vez más complejas. Un LLM encuentra los datos por su significado, no por la ubicación de los elementos, por lo que los cambios en la estructura no le afectan. Sin embargo, si le envías la página completa, gastarás más en tokens y obtendrás datos que tendrás que revisar.

En este artículo analizamos en qué tareas realmente necesitas un LLM, cómo preparar el HTML para reducir el consumo de tokens y cómo obtener respuestas en un formato predefinido.

Contenidos

Mantén tu anonimato en línea con Octo Browser. Tu huella digital real no se puede rastrear.

¿Te gustaría probar Octo Browser con descuento?
Usa el código promocional OCTOBLOG para obtener un 30% de descuento en cualquier suscripción. Esta oferta es válida solo para nuevos usuarios.

Cuándo utilizar LLM en el scraping

Conviene utilizar un LLM cuando los datos no tienen selectores estables: en textos no estructurados, reseñas sin etiquetas claras o fichas de productos cuya estructura cambia con frecuencia. Las tablas estables y los elementos con ID permanentes se procesan de forma más rápida y económica mediante selectores XPath o CSS.

Un scraper tradicional sigue instrucciones precisas: "Ve al tercer div, busca la clase .price-bold y extrae su texto". Si un sitio web actualiza su estructura o ejecuta una prueba A/B que sustituye un div por un span, tendrás que reescribir el scraper.

Un LLM no depende de las rutas de los elementos. Encuentra los datos por su significado: si le pides que extraiga un precio, localizará el número que aparece junto al símbolo de una divisa ("¥", "$", "€") e ignorará el marcado innecesario que lo rodea.

Sin embargo, cada solicitud a un LLM cuesta tiempo y dinero: la API cobra por cada token y la respuesta tarda bastante más que el resultado de un script convencional. Por eso, dejamos que los selectores tradicionales hagan la mayor parte del trabajo y recurrimos al LLM solo cuando no son suficientes.

Cómo preparar el HTML antes de enviarlo a un LLM

Antes de enviar el HTML a un LLM, hay que limpiarlo, convertirlo en Markdown y dividirlo en fragmentos. Así reduces el consumo de tokens y facilitas que el modelo encuentre los datos necesarios.

Primero, hay que obtener el HTML. En muchos sitios basta con utilizar un script convencional. Sin embargo, si el sitio bloquea las solicitudes automatizadas, necesitarás perfiles de navegador con huellas digitales independientes y proxies, por ejemplo, en Octo Browser. En este artículo te explicamos cómo iniciar un perfil mediante la API y conectarlo a Playwright:

El HTML sin procesar está compuesto principalmente por código de marcado. Este es un ejemplo de un botón típico:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

El único dato útil aquí es la palabra “Buy” (“Comprar”), que ocupa un token. El botón completo ocupa 44 tokens según el tokenizador o200k_base que utilizan los modelos GPT-4o. Si envías este código a la API, estarás pagando por procesar las clases CSS y al modelo le resultará más difícil centrarse en los datos. Una página entera, como document.body.innerHTML, puede incluso superar el límite de tokens de una sola solicitud.

La preparación consta de tres pasos.

Paso 1. Limpia el DOM

Elimina todo lo que no aporte información útil: las etiquetas <script>, <style>, <svg>, <iframe> y <noscript>, así como las imágenes codificadas en base64. Puedes hacerlo directamente en el navegador mediante page.evaluate() o en el backend con BeautifulSoup o Cheerio. Después, elimina los atributos class, style y data-*. Si no necesitas los metadatos de la página, elimina también el contenido de <head>, incluidos los enlaces a hojas de estilo, las metaetiquetas y los comentarios.

Código de la página antes de la limpieza

Código de la página antes de la limpieza

Código de la página después de eliminar los scripts, los estilos y los atributos

Código de la página después de eliminar los scripts, los estilos y los atributos

En este mismo paso, comprueba si hay contenido duplicado. Muchos sitios muestran dos veces los precios y los nombres de los productos: una versión es visible para el usuario y otra permanece oculta y está destinada a los lectores de pantalla. El navegador muestra solo una de ellas, pero el conversor extrae ambas y las combina en una sola línea. Elimina una de las versiones durante la limpieza, por ejemplo, los elementos con el atributo aria-hidden="true". La versión que debes conservar depende de la estructura del sitio, así que revisa el código de la página correspondiente antes de configurar la limpieza.

Paso 2. Convierte el HTML en Markdown

Markdown conserva la misma estructura que HTML (encabezados, listas y tablas), pero utiliza muy pocos caracteres de marcado. Los LLM se han entrenado con datos de GitHub, Reddit y Wikipedia, donde Markdown es muy habitual, por lo que procesan bien este formato. Para realizar la conversión, puedes utilizar bibliotecas como Turndown (JavaScript) o html2text (Python).

La diferencia se aprecia incluso en una sola fila de una tabla. En HTML, la fila <tr><td>Precio</td><td><span>$1,500</span></td></tr> ocupa 22 tokens, mientras que la fila equivalente en Markdown, | Precio | $1,500 |, ocupa solo 8.

Al configurar el conversor, establece reglas para los enlaces y las imágenes. Conserva el atributo href solo si estás recopilando datos de contacto o enlaces a páginas de productos; en los demás casos, elimínalo. De las imágenes, conserva únicamente el texto del atributo alt. Cuanto menos marcado haya en el texto, menos elementos innecesarios distraerán al modelo de los datos.

Texto de la página después de la conversión: de las imágenes solo se conserva el texto alt; los precios aparecen duplicados debido al contenido oculto

Texto de la página después de la conversión: de las imágenes solo se conserva el texto alt; los precios aparecen duplicados debido al contenido oculto

Paso 3. Divide el contenido en fragmentos

Aunque un catálogo quepa en la ventana de contexto del modelo, no conviene enviarlo completo. En aprendizaje automático existe un fenómeno conocido como Lost in the Middle. Un estudio demostró que los LLM aprovechan peor la información situada en el medio de un contexto largo que la que aparece al principio o al final. En un catálogo extenso, esto puede hacer que el modelo omita algunas fichas de productos del centro de la lista o añada otras que no existen.

No dividas el texto por número de caracteres, por ejemplo, mediante markdown_text.substring(0, 5000): el corte podría quedar en mitad de una palabra o de un precio. En su lugar, divide el contenido en bloques lógicos durante el procesamiento del DOM:

  • El script encuentra todos los contenedores de las fichas de productos, por ejemplo, mediante document.querySelectorAll('.product-card').

  • El conjunto de fichas se divide en lotes, por ejemplo, de 30–50 fichas cada uno.

  • Cada lote se convierte a Markdown por separado.

  • Los lotes se envían al LLM mediante solicitudes paralelas. El número de solicitudes simultáneas depende de los límites de tu API.

  • El script combina los arrays JSON obtenidos en uno solo.

Así, el modelo procesa por completo fragmentos cortos, cada solicitud se mantiene dentro del límite de tokens y las solicitudes paralelas reducen el tiempo total de procesamiento.

Cómo obtener JSON de un LLM según un esquema definido

El modo Structured Outputs garantiza que el JSON se genere de acuerdo con un esquema definido: los nombres de los campos y los tipos de datos de la respuesta del modelo coinciden exactamente con el esquema. A esto se le llama JSON estricto.

El modo json_object, que durante mucho tiempo fue el estándar, solo garantiza que la sintaxis sea válida: los corchetes y las comillas estarán en su sitio. Sin embargo, los nombres de los campos y los tipos de datos pueden cambiar. Hoy el modelo puede devolver la clave price y mañana, price_usd. También puede devolver la cadena "$1 500" en lugar del número 1500. Un script que espera recibir price como número generará un error al procesar una respuesta así.

Structured Outputs utiliza decodificación restringida (constrained decoding). En cada paso de la generación, la API compara los posibles tokens siguientes con el esquema JSON y descarta los que no lo cumplen. Si el esquema exige un número, el modelo no podrá introducir letras en ese campo. Puedes definir esquemas fácilmente con Pydantic en Python o Zod en JavaScript.

Veamos un ejemplo. Enviaremos al modelo un prompt que le pide devolver el precio escrito con palabras y un esquema que establece que el precio debe ser un número:

import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")
import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

El esquema garantiza el formato de la respuesta, pero no la exactitud de los valores. Si el modelo comete un error o se inventa un precio, lo devolverá igualmente en el campo y con el tipo de dato correctos. El esquema tampoco evita que la respuesta se interrumpa por alcanzar el límite de tokens ni que el modelo se niegue a responder. Por eso, debes gestionar estos casos en el código.

Puedes añadir una descripción a cada campo del esquema mediante el parámetro description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")
from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

El modelo tiene en cuenta estas descripciones al completar cada campo.

Para extraer datos, establece temperature en 0 o, en algunos modelos locales, en 0,1. El modelo seleccionará los tokens más probables y las respuestas al mismo HTML serán prácticamente idénticas. Sin embargo, las API no garantizan una reproducibilidad total y algunos modelos de razonamiento (reasoning) no permiten configurar temperature.

Un LLM genera texto prediciendo la continuación más probable. Si en los datos de entrenamiento la capacidad de la batería aparece casi siempre en la información de un smartphone, el modelo puede añadirla a la respuesta aunque la página no contenga ese dato. Hay dos medidas que ayudan a reducir este riesgo:

  • Utiliza campos opcionales en el esquema, como Optional[float], tal como se muestra en el ejemplo anterior.

  • Añade una regla para devolver null en el prompt del sistema. Por ejemplo: "Si el dato no aparece en la página, devuelve null. No inventes valores ni utilices tus propios conocimientos. Extrae únicamente la información presente en el texto proporcionado".

Para formatos poco habituales, incluye en el prompt uno o dos ejemplos de entrada y salida. Por ejemplo, un sitio web puede indicar "Quedan: 3 uds. (1 reservada)", y no queda claro qué cifra debe utilizarse. Un solo ejemplo con la respuesta esperada suele funcionar mejor que una regla larga.

Los modelos que no admiten Structured Outputs, incluidos algunos modelos locales y API alternativas, pueden devolver JSON dentro de un bloque de código Markdown:

```json
{ "price": 1500 }
```
```json
{ "price": 1500 }
```

Las funciones json.loads() y JSON.parse() darán error al procesar una respuesta así. Por eso, limpia la respuesta antes de analizarla y después valídala con el mismo modelo de Pydantic:

import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)
import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Así puedes detectar los errores de formato de inmediato, en lugar de descubrirlos en la base de datos. Cuanto más precisos sean el esquema y el prompt, menos margen de interpretación tendrá el modelo y más predecible será el resultado.

Cómo reducir el coste del scraping con LLM a gran escala

Cuando procesas grandes volúmenes de datos, resulta más rentable utilizar un LLM para complementar un scraper tradicional que para analizar cada página. Otra forma de ahorrar es ejecutar el modelo en tu propio servidor.

Scraper autorreparable

Los selectores XPath y CSS siguen haciendo la mayor parte del trabajo. El LLM interviene únicamente cuando el scraper falla:

  • El script procesa las páginas con selectores tradicionales.

  • El sitio web cambia su estructura, el selector deja de encontrar el precio y un bloque try/except captura el error.

  • El script envía al LLM el selector anterior y un fragmento del nuevo HTML con esta solicitud: "Este es el XPath anterior y un fragmento del nuevo DOM. Devuelve un XPath nuevo para el precio".

  • El script comprueba el nuevo selector en varias páginas y, si funciona, lo guarda en la configuración y continúa el proceso.

Los tokens solo se consumen cuando se produce un fallo, no en cada página. No omitas la validación del nuevo selector: el LLM puede devolver un XPath que encuentre un elemento incorrecto.

Modelos locales

Las API de OpenAI o Anthropic son prácticas para crear prototipos, pero procesar millones de páginas al día —por ejemplo, para monitorizar marketplaces— puede suponer un gasto considerable. Una alternativa es ejecutar un modelo de pesos abiertos en tu propio servidor o en un servidor alquilado con GPU. Para el scraping, puedes utilizar modelos que trabajen bien con código, como Qwen 3.6. Puedes ejecutarlos mediante Ollama o vLLM. Ambas herramientas admiten la generación según esquemas JSON, por lo que el enfoque explicado en la sección anterior también funciona en este caso.

En este escenario, los gastos se limitan al alquiler del servidor o al consumo eléctrico, y los datos no se envían a servicios externos. Antes de cambiar, compara la calidad de extracción en tus propias páginas: un modelo local puede ofrecer peores resultados que uno comercial.

Conclusión

Un LLM no sustituye al scraping tradicional, sino que lo complementa. Los selectores XPath y CSS procesan las estructuras estables de forma más rápida y económica, mientras que un LLM resulta útil cuando los datos están dispersos en el texto o la estructura cambia constantemente. Para que este método sea predecible, limpia el HTML y elimina el marcado y los duplicados ocultos, conviértelo a Markdown y divídelo en lotes lógicos. Solicita las respuestas según un esquema JSON y valida los resultados y los nuevos selectores mediante código.

Todo este proceso empieza por obtener el HTML, y es precisamente en esta etapa cuando muchos sitios web ponen obstáculos y bloquean las solicitudes según la dirección IP o la huella digital del navegador. En Octo Browser, cada perfil tiene su propia huella digital y su propio proxy, por lo que el sitio lo identifica como un usuario independiente. Los perfiles se pueden iniciar mediante la API y conectar a Playwright o Puppeteer, lo que facilita su integración en un scraper. Después, puedes procesar el HTML obtenido siguiendo los pasos de este artículo.

Mantén tu anonimato en línea con Octo Browser. Tu huella digital real no se puede rastrear.

¿Te gustaría probar Octo Browser con descuento?
Usa el código promocional OCTOBLOG para obtener un 30% de descuento en cualquier suscripción. Esta oferta es válida solo para nuevos usuarios.

Cuándo utilizar LLM en el scraping

Conviene utilizar un LLM cuando los datos no tienen selectores estables: en textos no estructurados, reseñas sin etiquetas claras o fichas de productos cuya estructura cambia con frecuencia. Las tablas estables y los elementos con ID permanentes se procesan de forma más rápida y económica mediante selectores XPath o CSS.

Un scraper tradicional sigue instrucciones precisas: "Ve al tercer div, busca la clase .price-bold y extrae su texto". Si un sitio web actualiza su estructura o ejecuta una prueba A/B que sustituye un div por un span, tendrás que reescribir el scraper.

Un LLM no depende de las rutas de los elementos. Encuentra los datos por su significado: si le pides que extraiga un precio, localizará el número que aparece junto al símbolo de una divisa ("¥", "$", "€") e ignorará el marcado innecesario que lo rodea.

Sin embargo, cada solicitud a un LLM cuesta tiempo y dinero: la API cobra por cada token y la respuesta tarda bastante más que el resultado de un script convencional. Por eso, dejamos que los selectores tradicionales hagan la mayor parte del trabajo y recurrimos al LLM solo cuando no son suficientes.

Cómo preparar el HTML antes de enviarlo a un LLM

Antes de enviar el HTML a un LLM, hay que limpiarlo, convertirlo en Markdown y dividirlo en fragmentos. Así reduces el consumo de tokens y facilitas que el modelo encuentre los datos necesarios.

Primero, hay que obtener el HTML. En muchos sitios basta con utilizar un script convencional. Sin embargo, si el sitio bloquea las solicitudes automatizadas, necesitarás perfiles de navegador con huellas digitales independientes y proxies, por ejemplo, en Octo Browser. En este artículo te explicamos cómo iniciar un perfil mediante la API y conectarlo a Playwright:

El HTML sin procesar está compuesto principalmente por código de marcado. Este es un ejemplo de un botón típico:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

El único dato útil aquí es la palabra “Buy” (“Comprar”), que ocupa un token. El botón completo ocupa 44 tokens según el tokenizador o200k_base que utilizan los modelos GPT-4o. Si envías este código a la API, estarás pagando por procesar las clases CSS y al modelo le resultará más difícil centrarse en los datos. Una página entera, como document.body.innerHTML, puede incluso superar el límite de tokens de una sola solicitud.

La preparación consta de tres pasos.

Paso 1. Limpia el DOM

Elimina todo lo que no aporte información útil: las etiquetas <script>, <style>, <svg>, <iframe> y <noscript>, así como las imágenes codificadas en base64. Puedes hacerlo directamente en el navegador mediante page.evaluate() o en el backend con BeautifulSoup o Cheerio. Después, elimina los atributos class, style y data-*. Si no necesitas los metadatos de la página, elimina también el contenido de <head>, incluidos los enlaces a hojas de estilo, las metaetiquetas y los comentarios.

Código de la página antes de la limpieza

Código de la página antes de la limpieza

Código de la página después de eliminar los scripts, los estilos y los atributos

Código de la página después de eliminar los scripts, los estilos y los atributos

En este mismo paso, comprueba si hay contenido duplicado. Muchos sitios muestran dos veces los precios y los nombres de los productos: una versión es visible para el usuario y otra permanece oculta y está destinada a los lectores de pantalla. El navegador muestra solo una de ellas, pero el conversor extrae ambas y las combina en una sola línea. Elimina una de las versiones durante la limpieza, por ejemplo, los elementos con el atributo aria-hidden="true". La versión que debes conservar depende de la estructura del sitio, así que revisa el código de la página correspondiente antes de configurar la limpieza.

Paso 2. Convierte el HTML en Markdown

Markdown conserva la misma estructura que HTML (encabezados, listas y tablas), pero utiliza muy pocos caracteres de marcado. Los LLM se han entrenado con datos de GitHub, Reddit y Wikipedia, donde Markdown es muy habitual, por lo que procesan bien este formato. Para realizar la conversión, puedes utilizar bibliotecas como Turndown (JavaScript) o html2text (Python).

La diferencia se aprecia incluso en una sola fila de una tabla. En HTML, la fila <tr><td>Precio</td><td><span>$1,500</span></td></tr> ocupa 22 tokens, mientras que la fila equivalente en Markdown, | Precio | $1,500 |, ocupa solo 8.

Al configurar el conversor, establece reglas para los enlaces y las imágenes. Conserva el atributo href solo si estás recopilando datos de contacto o enlaces a páginas de productos; en los demás casos, elimínalo. De las imágenes, conserva únicamente el texto del atributo alt. Cuanto menos marcado haya en el texto, menos elementos innecesarios distraerán al modelo de los datos.

Texto de la página después de la conversión: de las imágenes solo se conserva el texto alt; los precios aparecen duplicados debido al contenido oculto

Texto de la página después de la conversión: de las imágenes solo se conserva el texto alt; los precios aparecen duplicados debido al contenido oculto

Paso 3. Divide el contenido en fragmentos

Aunque un catálogo quepa en la ventana de contexto del modelo, no conviene enviarlo completo. En aprendizaje automático existe un fenómeno conocido como Lost in the Middle. Un estudio demostró que los LLM aprovechan peor la información situada en el medio de un contexto largo que la que aparece al principio o al final. En un catálogo extenso, esto puede hacer que el modelo omita algunas fichas de productos del centro de la lista o añada otras que no existen.

No dividas el texto por número de caracteres, por ejemplo, mediante markdown_text.substring(0, 5000): el corte podría quedar en mitad de una palabra o de un precio. En su lugar, divide el contenido en bloques lógicos durante el procesamiento del DOM:

  • El script encuentra todos los contenedores de las fichas de productos, por ejemplo, mediante document.querySelectorAll('.product-card').

  • El conjunto de fichas se divide en lotes, por ejemplo, de 30–50 fichas cada uno.

  • Cada lote se convierte a Markdown por separado.

  • Los lotes se envían al LLM mediante solicitudes paralelas. El número de solicitudes simultáneas depende de los límites de tu API.

  • El script combina los arrays JSON obtenidos en uno solo.

Así, el modelo procesa por completo fragmentos cortos, cada solicitud se mantiene dentro del límite de tokens y las solicitudes paralelas reducen el tiempo total de procesamiento.

Cómo obtener JSON de un LLM según un esquema definido

El modo Structured Outputs garantiza que el JSON se genere de acuerdo con un esquema definido: los nombres de los campos y los tipos de datos de la respuesta del modelo coinciden exactamente con el esquema. A esto se le llama JSON estricto.

El modo json_object, que durante mucho tiempo fue el estándar, solo garantiza que la sintaxis sea válida: los corchetes y las comillas estarán en su sitio. Sin embargo, los nombres de los campos y los tipos de datos pueden cambiar. Hoy el modelo puede devolver la clave price y mañana, price_usd. También puede devolver la cadena "$1 500" en lugar del número 1500. Un script que espera recibir price como número generará un error al procesar una respuesta así.

Structured Outputs utiliza decodificación restringida (constrained decoding). En cada paso de la generación, la API compara los posibles tokens siguientes con el esquema JSON y descarta los que no lo cumplen. Si el esquema exige un número, el modelo no podrá introducir letras en ese campo. Puedes definir esquemas fácilmente con Pydantic en Python o Zod en JavaScript.

Veamos un ejemplo. Enviaremos al modelo un prompt que le pide devolver el precio escrito con palabras y un esquema que establece que el precio debe ser un número:

import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

El esquema garantiza el formato de la respuesta, pero no la exactitud de los valores. Si el modelo comete un error o se inventa un precio, lo devolverá igualmente en el campo y con el tipo de dato correctos. El esquema tampoco evita que la respuesta se interrumpa por alcanzar el límite de tokens ni que el modelo se niegue a responder. Por eso, debes gestionar estos casos en el código.

Puedes añadir una descripción a cada campo del esquema mediante el parámetro description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

El modelo tiene en cuenta estas descripciones al completar cada campo.

Para extraer datos, establece temperature en 0 o, en algunos modelos locales, en 0,1. El modelo seleccionará los tokens más probables y las respuestas al mismo HTML serán prácticamente idénticas. Sin embargo, las API no garantizan una reproducibilidad total y algunos modelos de razonamiento (reasoning) no permiten configurar temperature.

Un LLM genera texto prediciendo la continuación más probable. Si en los datos de entrenamiento la capacidad de la batería aparece casi siempre en la información de un smartphone, el modelo puede añadirla a la respuesta aunque la página no contenga ese dato. Hay dos medidas que ayudan a reducir este riesgo:

  • Utiliza campos opcionales en el esquema, como Optional[float], tal como se muestra en el ejemplo anterior.

  • Añade una regla para devolver null en el prompt del sistema. Por ejemplo: "Si el dato no aparece en la página, devuelve null. No inventes valores ni utilices tus propios conocimientos. Extrae únicamente la información presente en el texto proporcionado".

Para formatos poco habituales, incluye en el prompt uno o dos ejemplos de entrada y salida. Por ejemplo, un sitio web puede indicar "Quedan: 3 uds. (1 reservada)", y no queda claro qué cifra debe utilizarse. Un solo ejemplo con la respuesta esperada suele funcionar mejor que una regla larga.

Los modelos que no admiten Structured Outputs, incluidos algunos modelos locales y API alternativas, pueden devolver JSON dentro de un bloque de código Markdown:

```json
{ "price": 1500 }
```

Las funciones json.loads() y JSON.parse() darán error al procesar una respuesta así. Por eso, limpia la respuesta antes de analizarla y después valídala con el mismo modelo de Pydantic:

import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Así puedes detectar los errores de formato de inmediato, en lugar de descubrirlos en la base de datos. Cuanto más precisos sean el esquema y el prompt, menos margen de interpretación tendrá el modelo y más predecible será el resultado.

Cómo reducir el coste del scraping con LLM a gran escala

Cuando procesas grandes volúmenes de datos, resulta más rentable utilizar un LLM para complementar un scraper tradicional que para analizar cada página. Otra forma de ahorrar es ejecutar el modelo en tu propio servidor.

Scraper autorreparable

Los selectores XPath y CSS siguen haciendo la mayor parte del trabajo. El LLM interviene únicamente cuando el scraper falla:

  • El script procesa las páginas con selectores tradicionales.

  • El sitio web cambia su estructura, el selector deja de encontrar el precio y un bloque try/except captura el error.

  • El script envía al LLM el selector anterior y un fragmento del nuevo HTML con esta solicitud: "Este es el XPath anterior y un fragmento del nuevo DOM. Devuelve un XPath nuevo para el precio".

  • El script comprueba el nuevo selector en varias páginas y, si funciona, lo guarda en la configuración y continúa el proceso.

Los tokens solo se consumen cuando se produce un fallo, no en cada página. No omitas la validación del nuevo selector: el LLM puede devolver un XPath que encuentre un elemento incorrecto.

Modelos locales

Las API de OpenAI o Anthropic son prácticas para crear prototipos, pero procesar millones de páginas al día —por ejemplo, para monitorizar marketplaces— puede suponer un gasto considerable. Una alternativa es ejecutar un modelo de pesos abiertos en tu propio servidor o en un servidor alquilado con GPU. Para el scraping, puedes utilizar modelos que trabajen bien con código, como Qwen 3.6. Puedes ejecutarlos mediante Ollama o vLLM. Ambas herramientas admiten la generación según esquemas JSON, por lo que el enfoque explicado en la sección anterior también funciona en este caso.

En este escenario, los gastos se limitan al alquiler del servidor o al consumo eléctrico, y los datos no se envían a servicios externos. Antes de cambiar, compara la calidad de extracción en tus propias páginas: un modelo local puede ofrecer peores resultados que uno comercial.

Conclusión

Un LLM no sustituye al scraping tradicional, sino que lo complementa. Los selectores XPath y CSS procesan las estructuras estables de forma más rápida y económica, mientras que un LLM resulta útil cuando los datos están dispersos en el texto o la estructura cambia constantemente. Para que este método sea predecible, limpia el HTML y elimina el marcado y los duplicados ocultos, conviértelo a Markdown y divídelo en lotes lógicos. Solicita las respuestas según un esquema JSON y valida los resultados y los nuevos selectores mediante código.

Todo este proceso empieza por obtener el HTML, y es precisamente en esta etapa cuando muchos sitios web ponen obstáculos y bloquean las solicitudes según la dirección IP o la huella digital del navegador. En Octo Browser, cada perfil tiene su propia huella digital y su propio proxy, por lo que el sitio lo identifica como un usuario independiente. Los perfiles se pueden iniciar mediante la API y conectar a Playwright o Puppeteer, lo que facilita su integración en un scraper. Después, puedes procesar el HTML obtenido siguiendo los pasos de este artículo.

Mantente al día de las últimas noticias sobre Octo Browser

Al hacer clic en el botón, aceptas nuestra Política de privacidad.

Mantente al día de las últimas noticias sobre Octo Browser

Al hacer clic en el botón, aceptas nuestra Política de privacidad.

Mantente al día de las últimas noticias sobre Octo Browser

Al hacer clic en el botón, aceptas nuestra Política de privacidad.

Únete a Octo Browser ahora

O contacta al servicio al cliente en cualquier momento si tienes alguna pregunta.

Únete a Octo Browser ahora

O contacta al servicio al cliente en cualquier momento si tienes alguna pregunta.

Únete a Octo Browser ahora

O contacta al servicio al cliente en cualquier momento si tienes alguna pregunta.

©

2026

Octo Browser

©

2026

Octo Browser

©

2026

Octo Browser