Como usar LLMs para web scraping sem gastar demais com tokens

Como usar LLMs para web scraping sem gastar demais com tokens
Markus_automation
Markus_automation

Expert in data parsing and automation

Scrapers tradicionais quebram em sites com layouts dinâmicos: as classes são regeneradas, as expressões XPath deixam de encontrar elementos e as expressões regulares se tornam cada vez mais complexas. Um LLM encontra dados com base no significado e não na localização de um elemento, portanto, alterações de layout não o afetam. No entanto, se você fornecer a página inteira ao modelo, gastará mais com tokens e obterá dados que precisam ser verificados novamente.

Neste artigo, veremos quando você realmente precisa de um LLM, como preparar o HTML para reduzir o uso de tokens e como obter respostas em um formato predefinido.

Índice

Mantenha o anonimato on-line com Octo Browser. Sua verdadeira impressão digital não pode ser rastreada.

Gostaria de experimentar o Octo Browser com desconto?
Use o código promocional OCTOBLOG para obter 30% de desconto em qualquer assinatura. Esta oferta é válida apenas para novos usuários

Como preparar o HTML antes de enviá-lo para um LLM

Antes de enviar o HTML para um LLM, limpe-o, converta-o para Markdown e divida-o em partes. Isso reduz o uso de tokens e facilita para o modelo encontrar os dados necessários.

Primeiro, você precisa obter o HTML. Para muitos sites, um script comum é suficiente. Mas se um site bloquear solicitações automatizadas, você precisará de perfis de navegador com impressões digitais e proxies separados, como os fornecidos pelo Octo Browser. Explicamos como iniciar um perfil usando a API e conectar o Playwright a ele aqui:

O HTML bruto consiste principalmente em marcação. Veja um botão típico:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Comprar</button>
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Comprar</button>

O único dado útil aqui é a palavra “Comprar”, que consome um token. O botão inteiro consome 44 tokens de acordo com o tokenizador o200k_base usado pelos modelos GPT-4o. Se você enviar esse código para a API, estará pagando pelo processamento das classes CSS, dificultando o foco do modelo nos dados reais. Uma página inteira, como document.body.innerHTML, pode até mesmo não caber no limite de tokens de uma única solicitação.

A preparação envolve três etapas.

Etapa 1. Limpar o DOM

Remova tudo o que não trouxer informações úteis: tags <script>, <style>, <svg>, <iframe> e <noscript>, além de imagens codificadas em base64. Você pode fazer isso diretamente no navegador usando page.evaluate() ou no backend com BeautifulSoup ou Cheerio. Em seguida, remova os atributos class, style e data-*. Se não precisar dos metadados da página, remova também o conteúdo de <head>, incluindo links de folhas de estilo, meta tags e comentários.

Page code before cleaning

Código da página antes da limpeza

Page code after removing scripts, styles, and attributes

Código da página após remover scripts, estilos e atributos

Nesta etapa, verifique também se há duplicatas na página. Muitos sites exibem preços e nomes de produtos duas vezes: uma versão é visível para os usuários, enquanto a outra é oculta e voltada para leitores de tela. O navegador exibe apenas uma versão, mas o conversor extrai ambas, mesclando-as em uma única linha. Remova uma das versões durante a limpeza, por exemplo, elementos com o atributo aria-hidden="true". Qual versão manter depende da marcação do site, portanto, inspecione o código da página em que estiver trabalhando antes de configurar a limpeza.

Etapa 2. Converter HTML em Markdown

O Markdown preserva a mesma estrutura do HTML (títulos, listas e tabelas), mas quase sem sobrecarga de marcação. Os LLMs foram treinados com dados do GitHub, Reddit e Wikipedia, onde o Markdown é amplamente utilizado, de modo que lidam bem com esse formato. Você pode usar bibliotecas como Turndown (JavaScript) ou html2text (Python) para a conversão.

A diferença é perceptível até em uma única linha de tabela. No HTML, a linha <tr><td>Price</td><td><span>$1,500</span></td></tr> consome 22 tokens, enquanto a linha em Markdown | Price | $1,500 | consome apenas 8.

Ao configurar o conversor, defina regras para links e imagens. Mantenha o atributo href apenas ao extrair detalhes de contato ou links para páginas de produtos; remova-o nos demais casos. Para imagens, mantenha apenas o texto no atributo alt. Quanto menos marcação houver no texto, menor será o ruído para distrair o modelo dos dados.

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

Texto da página após a conversão: apenas o texto alt permanece para as imagens; os preços estão duplicados devido a duplicatas ocultas

Etapa 3. Dividir o conteúdo em partes

Mesmo que um catálogo caiba na janela de contexto do modelo, é melhor não enviar tudo de uma vez. No aprendizado de máquina, isso é conhecido como o fenômeno Lost in the Middle. Pesquisas mostraram que os LLMs são menos eficazes no uso de informações no meio de um contexto longo do que informações no início ou no fim. Com um catálogo grande, isso pode significar que o modelo ignore alguns cartões de produtos no meio da lista ou invente entradas que não existem.

Não divida o texto pela contagem de caracteres, por exemplo, usando markdown_text.substring(0, 5000): o corte pode cair no meio de uma palavra ou de um preço. Em vez disso, divida-o em blocos lógicos durante o processamento do DOM:

  • O script encontra todos os contêineres de cartões de produtos, por exemplo, usando document.querySelectorAll('.product-card').

  • O array de cartões é dividido em lotes, por exemplo, de 30 a 50 cartões por lote.

  • Cada lote é convertido para Markdown separadamente.

  • Os lotes são enviados para o LLM em solicitações paralelas. O número de solicitações simultâneas depende dos limites da sua API.

  • O script combina os arrays JSON resultantes em um só.

Dessa forma, o modelo processa cada fragmento curto por completo, cada solicitação permanece dentro do limite de tokens e as solicitações paralelas reduzem o tempo total de processamento.

Como obter JSON de um LLM de acordo com um esquema predefinido

O modo Structured Outputs garante que o JSON seja gerado de acordo com um esquema predefinido: os nomes dos campos e os tipos de dados na resposta do modelo correspondem exatamente ao esquema. Isso é conhecido como JSON estrito.

O modo json_object, que foi o padrão por muito tempo, garante apenas uma sintaxe válida: os colchetes, chaves e aspas estarão nos lugares corretos. Os nomes dos campos e os tipos de dados ainda podem mudar. Hoje, o modelo pode retornar uma chave price; amanhã, pode retornar price_usd. Ele também pode retornar a string "$1 500" em vez do número 1500. Um script que espera que price seja um número falhará ao receber tal resposta.

O Structured Outputs usa decodificação com restrições. A cada etapa de geração, a API compara os próximos tokens possíveis com o esquema JSON e descarta qualquer um que o viole. Se o esquema exigir um número, o modelo não poderá inserir letras nesse campo. Você pode definir esquemas de forma prática usando o Pydantic em Python ou o Zod em JavaScript.

Vamos testar isso com um exemplo. Enviaremos ao modelo um prompt instruindo-o a retornar o preço por extenso, junto com um esquema que exige que o preço seja um número:

import os
from pydantic import BaseModel
from openai import OpenAI

# Lê a chave da API a partir de uma variável de ambiente em vez de fixá-la no código
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Esquema: o preço deve ser um número (float)
class Product(BaseModel):
    title: str
    price: float

# Prompt adversário: pede o preço por extenso
html_chunk = "Nome: Notebook gamer. Preço: cem mil rublos."
evil_prompt = "RETORNE O PREÇO APENAS POR EXTENSO! Sem dígitos! Isso é fundamental!"

# Solicitação com Structured Outputs: o método .parse com o esquema em response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULTADO ===")
print(result)
print(f"Tipo de dado do campo de preço: {type(result.price)}")
import os
from pydantic import BaseModel
from openai import OpenAI

# Lê a chave da API a partir de uma variável de ambiente em vez de fixá-la no código
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Esquema: o preço deve ser um número (float)
class Product(BaseModel):
    title: str
    price: float

# Prompt adversário: pede o preço por extenso
html_chunk = "Nome: Notebook gamer. Preço: cem mil rublos."
evil_prompt = "RETORNE O PREÇO APENAS POR EXTENSO! Sem dígitos! Isso é fundamental!"

# Solicitação com Structured Outputs: o método .parse com o esquema em response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULTADO ===")
print(result)
print(f"Tipo de dado do campo de preço: {type(result.price)}")

O esquema garante o formato da resposta, não a exatidão dos seus valores. Se o modelo cometer um erro ou inventar um preço, ele ainda o retornará no campo e tipo de dados corretos. O esquema também não protege contra respostas cortadas devido a limites de tokens ou recusa do modelo em responder, portanto, você precisa tratar esses casos no seu código.

Você pode adicionar uma descrição a cada campo do esquema usando o parâmetro description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Nome completo do produto sem preenchimento para SEO")
    price: Optional[float] = Field(description="Preço apenas como número. Se houver desconto, use o preço final")
    in_stock: Optional[bool] = Field(description="Indica se o produto está em estoque")
from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Nome completo do produto sem preenchimento para SEO")
    price: Optional[float] = Field(description="Preço apenas como número. Se houver desconto, use o preço final")
    in_stock: Optional[bool] = Field(description="Indica se o produto está em estoque")

O modelo leva essas descrições em consideração ao preencher cada campo.

Para extração de dados, defina temperature como 0, ou como 0.1 para alguns modelos locais. O modelo selecionará os tokens mais prováveis, tornando as respostas para o mesmo HTML quase idênticas. No entanto, as APIs não garantem reprodutibilidade completa, e alguns modelos de raciocínio não permitem configurar temperature.

Um LLM gera texto prevendo a continuação mais provável. Se a capacidade da bateria de um smartphone estiver quase sempre incluída nos dados de treinamento do modelo, ele poderá adicioná-la à resposta mesmo que a página não contenha essa informação. Duas técnicas podem ajudar a reduzir esse risco:

  • Use campos opcionais no esquema, como Optional[float], como no exemplo acima.

  • Adicione uma regra para null no prompt do sistema, por exemplo: "Se o dado não estiver na página, retorne null. Não invente valores nem use seu próprio conhecimento. Extraia apenas o que estiver presente no texto fornecido."

Para formatos incomuns, adicione um ou dois exemplos de entrada/saída ao prompt. Por exemplo, um site pode indicar "Restante: 3 un. (1 reservada)", deixando incerto qual número utilizar. Um exemplo mostrando a resposta esperada funciona melhor do que uma regra longa.

Modelos que não suportam Structured Outputs, incluindo alguns modelos locais e APIs alternativas, podem retornar JSON dentro de um bloco de código Markdown:

```json
{ "price": 1500 }
```
```json
{ "price": 1500 }
```

As funções json.loads() e JSON.parse() falharão com essa resposta. Portanto, limpe a resposta antes de analisá-la e, em seguida, valide-a usando o mesmo modelo Pydantic:

import re

# Remove os delimitadores de código Markdown e valida de acordo com o esquema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)
import re

# Remove os delimitadores de código Markdown e valida de acordo com o esquema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Isso permite capturar erros de formatação imediatamente, em vez de descobri-los no banco de dados. Quanto mais precisamente você definir o esquema e o prompt, menor será a margem de interpretação do modelo e mais previsível será o resultado.

Como reduzir o custo da raspagem baseada em LLM em escala

Ao processar grandes volumes de dados, é mais econômico usar um LLM para dar suporte a um raspador tradicional do que processar cada página com o modelo. Outra maneira de economizar é executar o modelo em seu próprio servidor.

Raspador autorregenerativo

Os seletores tradicionais XPath e CSS devem fazer a maior parte do trabalho, com o LLM intervindo apenas quando o raspador falhar:

  • O script raspa as páginas usando seletores tradicionais.

  • O site altera seu layout, o seletor não consegue mais encontrar o preço e um bloco try/except captura o erro.

  • O script envia ao LLM o seletor antigo e um fragmento do novo HTML, perguntando: "Aqui está o XPath antigo e um fragmento do novo DOM. Retorne um novo XPath para o preço."

  • O script testa o novo seletor em várias páginas e, se funcionar, salva-o na configuração e retoma a raspagem.

Os tokens são usados apenas quando algo falha, não em todas as páginas. Não pule a validação do novo seletor: o LLM pode retornar um XPath que localiza o elemento errado.

Modelos locais

As APIs da OpenAI ou Anthropic são convenientes para prototipagem, mas processar milhões de páginas diariamente — por exemplo, ao monitorar marketplaces — pode tornar os custos de API substanciais. Uma alternativa é executar um modelo de pesos abertos em seu próprio servidor ou em um servidor com GPU alugado. Modelos com bom desempenho em código, como o Qwen 3.6, são adequados para raspagem. Você pode executá-los usando o Ollama ou vLLM. Ambas as ferramentas suportam geração baseada em esquemas JSON, portanto, a abordagem descrita na seção anterior também funciona aqui.

Nesse caso, seus custos ficam limitados ao aluguel do servidor ou eletricidade, e seus dados não são enviados para serviços de terceiros. Antes de migrar, compare a qualidade da extração em suas próprias páginas: um modelo local pode ter um desempenho inferior ao de um comercial.

Conclusão

Um LLM não substitui a raspagem tradicional; ele a complementa. Seletores XPath e CSS lidam com layouts estáveis de forma mais rápida e barata, enquanto um LLM é útil quando os dados estão espalhados pelo texto ou o layout muda constantemente. Para tornar essa abordagem previsível, remova a marcação e as duplicatas ocultas do HTML, converta-o para Markdown e divida-o em lotes lógicos. Solicite respostas de acordo com um esquema JSON e valide tanto os resultados quanto os novos seletores em seu código.

Todo o processo começa com a recuperação do HTML, e é aqui que muitos sites criam barreiras bloqueando solicitações com base em endereços IP ou impressões digitais de navegador. No Octo Browser, cada perfil tem sua própria impressão digital e proxy, de modo que o site o enxerga como um usuário separado. Os perfis podem ser iniciados usando a API e conectados ao Playwright ou Puppeteer, facilitando sua integração a um raspador. Você pode então processar o HTML recuperado seguindo as etapas descritas neste artigo.

Mantenha o anonimato on-line com Octo Browser. Sua verdadeira impressão digital não pode ser rastreada.

Gostaria de experimentar o Octo Browser com desconto?
Use o código promocional OCTOBLOG para obter 30% de desconto em qualquer assinatura. Esta oferta é válida apenas para novos usuários

Como preparar o HTML antes de enviá-lo para um LLM

Antes de enviar o HTML para um LLM, limpe-o, converta-o para Markdown e divida-o em partes. Isso reduz o uso de tokens e facilita para o modelo encontrar os dados necessários.

Primeiro, você precisa obter o HTML. Para muitos sites, um script comum é suficiente. Mas se um site bloquear solicitações automatizadas, você precisará de perfis de navegador com impressões digitais e proxies separados, como os fornecidos pelo Octo Browser. Explicamos como iniciar um perfil usando a API e conectar o Playwright a ele aqui:

O HTML bruto consiste principalmente em marcação. Veja um botão típico:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Comprar</button>

O único dado útil aqui é a palavra “Comprar”, que consome um token. O botão inteiro consome 44 tokens de acordo com o tokenizador o200k_base usado pelos modelos GPT-4o. Se você enviar esse código para a API, estará pagando pelo processamento das classes CSS, dificultando o foco do modelo nos dados reais. Uma página inteira, como document.body.innerHTML, pode até mesmo não caber no limite de tokens de uma única solicitação.

A preparação envolve três etapas.

Etapa 1. Limpar o DOM

Remova tudo o que não trouxer informações úteis: tags <script>, <style>, <svg>, <iframe> e <noscript>, além de imagens codificadas em base64. Você pode fazer isso diretamente no navegador usando page.evaluate() ou no backend com BeautifulSoup ou Cheerio. Em seguida, remova os atributos class, style e data-*. Se não precisar dos metadados da página, remova também o conteúdo de <head>, incluindo links de folhas de estilo, meta tags e comentários.

Page code before cleaning

Código da página antes da limpeza

Page code after removing scripts, styles, and attributes

Código da página após remover scripts, estilos e atributos

Nesta etapa, verifique também se há duplicatas na página. Muitos sites exibem preços e nomes de produtos duas vezes: uma versão é visível para os usuários, enquanto a outra é oculta e voltada para leitores de tela. O navegador exibe apenas uma versão, mas o conversor extrai ambas, mesclando-as em uma única linha. Remova uma das versões durante a limpeza, por exemplo, elementos com o atributo aria-hidden="true". Qual versão manter depende da marcação do site, portanto, inspecione o código da página em que estiver trabalhando antes de configurar a limpeza.

Etapa 2. Converter HTML em Markdown

O Markdown preserva a mesma estrutura do HTML (títulos, listas e tabelas), mas quase sem sobrecarga de marcação. Os LLMs foram treinados com dados do GitHub, Reddit e Wikipedia, onde o Markdown é amplamente utilizado, de modo que lidam bem com esse formato. Você pode usar bibliotecas como Turndown (JavaScript) ou html2text (Python) para a conversão.

A diferença é perceptível até em uma única linha de tabela. No HTML, a linha <tr><td>Price</td><td><span>$1,500</span></td></tr> consome 22 tokens, enquanto a linha em Markdown | Price | $1,500 | consome apenas 8.

Ao configurar o conversor, defina regras para links e imagens. Mantenha o atributo href apenas ao extrair detalhes de contato ou links para páginas de produtos; remova-o nos demais casos. Para imagens, mantenha apenas o texto no atributo alt. Quanto menos marcação houver no texto, menor será o ruído para distrair o modelo dos dados.

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

Texto da página após a conversão: apenas o texto alt permanece para as imagens; os preços estão duplicados devido a duplicatas ocultas

Etapa 3. Dividir o conteúdo em partes

Mesmo que um catálogo caiba na janela de contexto do modelo, é melhor não enviar tudo de uma vez. No aprendizado de máquina, isso é conhecido como o fenômeno Lost in the Middle. Pesquisas mostraram que os LLMs são menos eficazes no uso de informações no meio de um contexto longo do que informações no início ou no fim. Com um catálogo grande, isso pode significar que o modelo ignore alguns cartões de produtos no meio da lista ou invente entradas que não existem.

Não divida o texto pela contagem de caracteres, por exemplo, usando markdown_text.substring(0, 5000): o corte pode cair no meio de uma palavra ou de um preço. Em vez disso, divida-o em blocos lógicos durante o processamento do DOM:

  • O script encontra todos os contêineres de cartões de produtos, por exemplo, usando document.querySelectorAll('.product-card').

  • O array de cartões é dividido em lotes, por exemplo, de 30 a 50 cartões por lote.

  • Cada lote é convertido para Markdown separadamente.

  • Os lotes são enviados para o LLM em solicitações paralelas. O número de solicitações simultâneas depende dos limites da sua API.

  • O script combina os arrays JSON resultantes em um só.

Dessa forma, o modelo processa cada fragmento curto por completo, cada solicitação permanece dentro do limite de tokens e as solicitações paralelas reduzem o tempo total de processamento.

Como obter JSON de um LLM de acordo com um esquema predefinido

O modo Structured Outputs garante que o JSON seja gerado de acordo com um esquema predefinido: os nomes dos campos e os tipos de dados na resposta do modelo correspondem exatamente ao esquema. Isso é conhecido como JSON estrito.

O modo json_object, que foi o padrão por muito tempo, garante apenas uma sintaxe válida: os colchetes, chaves e aspas estarão nos lugares corretos. Os nomes dos campos e os tipos de dados ainda podem mudar. Hoje, o modelo pode retornar uma chave price; amanhã, pode retornar price_usd. Ele também pode retornar a string "$1 500" em vez do número 1500. Um script que espera que price seja um número falhará ao receber tal resposta.

O Structured Outputs usa decodificação com restrições. A cada etapa de geração, a API compara os próximos tokens possíveis com o esquema JSON e descarta qualquer um que o viole. Se o esquema exigir um número, o modelo não poderá inserir letras nesse campo. Você pode definir esquemas de forma prática usando o Pydantic em Python ou o Zod em JavaScript.

Vamos testar isso com um exemplo. Enviaremos ao modelo um prompt instruindo-o a retornar o preço por extenso, junto com um esquema que exige que o preço seja um número:

import os
from pydantic import BaseModel
from openai import OpenAI

# Lê a chave da API a partir de uma variável de ambiente em vez de fixá-la no código
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Esquema: o preço deve ser um número (float)
class Product(BaseModel):
    title: str
    price: float

# Prompt adversário: pede o preço por extenso
html_chunk = "Nome: Notebook gamer. Preço: cem mil rublos."
evil_prompt = "RETORNE O PREÇO APENAS POR EXTENSO! Sem dígitos! Isso é fundamental!"

# Solicitação com Structured Outputs: o método .parse com o esquema em response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULTADO ===")
print(result)
print(f"Tipo de dado do campo de preço: {type(result.price)}")

O esquema garante o formato da resposta, não a exatidão dos seus valores. Se o modelo cometer um erro ou inventar um preço, ele ainda o retornará no campo e tipo de dados corretos. O esquema também não protege contra respostas cortadas devido a limites de tokens ou recusa do modelo em responder, portanto, você precisa tratar esses casos no seu código.

Você pode adicionar uma descrição a cada campo do esquema usando o parâmetro description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Nome completo do produto sem preenchimento para SEO")
    price: Optional[float] = Field(description="Preço apenas como número. Se houver desconto, use o preço final")
    in_stock: Optional[bool] = Field(description="Indica se o produto está em estoque")

O modelo leva essas descrições em consideração ao preencher cada campo.

Para extração de dados, defina temperature como 0, ou como 0.1 para alguns modelos locais. O modelo selecionará os tokens mais prováveis, tornando as respostas para o mesmo HTML quase idênticas. No entanto, as APIs não garantem reprodutibilidade completa, e alguns modelos de raciocínio não permitem configurar temperature.

Um LLM gera texto prevendo a continuação mais provável. Se a capacidade da bateria de um smartphone estiver quase sempre incluída nos dados de treinamento do modelo, ele poderá adicioná-la à resposta mesmo que a página não contenha essa informação. Duas técnicas podem ajudar a reduzir esse risco:

  • Use campos opcionais no esquema, como Optional[float], como no exemplo acima.

  • Adicione uma regra para null no prompt do sistema, por exemplo: "Se o dado não estiver na página, retorne null. Não invente valores nem use seu próprio conhecimento. Extraia apenas o que estiver presente no texto fornecido."

Para formatos incomuns, adicione um ou dois exemplos de entrada/saída ao prompt. Por exemplo, um site pode indicar "Restante: 3 un. (1 reservada)", deixando incerto qual número utilizar. Um exemplo mostrando a resposta esperada funciona melhor do que uma regra longa.

Modelos que não suportam Structured Outputs, incluindo alguns modelos locais e APIs alternativas, podem retornar JSON dentro de um bloco de código Markdown:

```json
{ "price": 1500 }
```

As funções json.loads() e JSON.parse() falharão com essa resposta. Portanto, limpe a resposta antes de analisá-la e, em seguida, valide-a usando o mesmo modelo Pydantic:

import re

# Remove os delimitadores de código Markdown e valida de acordo com o esquema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Isso permite capturar erros de formatação imediatamente, em vez de descobri-los no banco de dados. Quanto mais precisamente você definir o esquema e o prompt, menor será a margem de interpretação do modelo e mais previsível será o resultado.

Como reduzir o custo da raspagem baseada em LLM em escala

Ao processar grandes volumes de dados, é mais econômico usar um LLM para dar suporte a um raspador tradicional do que processar cada página com o modelo. Outra maneira de economizar é executar o modelo em seu próprio servidor.

Raspador autorregenerativo

Os seletores tradicionais XPath e CSS devem fazer a maior parte do trabalho, com o LLM intervindo apenas quando o raspador falhar:

  • O script raspa as páginas usando seletores tradicionais.

  • O site altera seu layout, o seletor não consegue mais encontrar o preço e um bloco try/except captura o erro.

  • O script envia ao LLM o seletor antigo e um fragmento do novo HTML, perguntando: "Aqui está o XPath antigo e um fragmento do novo DOM. Retorne um novo XPath para o preço."

  • O script testa o novo seletor em várias páginas e, se funcionar, salva-o na configuração e retoma a raspagem.

Os tokens são usados apenas quando algo falha, não em todas as páginas. Não pule a validação do novo seletor: o LLM pode retornar um XPath que localiza o elemento errado.

Modelos locais

As APIs da OpenAI ou Anthropic são convenientes para prototipagem, mas processar milhões de páginas diariamente — por exemplo, ao monitorar marketplaces — pode tornar os custos de API substanciais. Uma alternativa é executar um modelo de pesos abertos em seu próprio servidor ou em um servidor com GPU alugado. Modelos com bom desempenho em código, como o Qwen 3.6, são adequados para raspagem. Você pode executá-los usando o Ollama ou vLLM. Ambas as ferramentas suportam geração baseada em esquemas JSON, portanto, a abordagem descrita na seção anterior também funciona aqui.

Nesse caso, seus custos ficam limitados ao aluguel do servidor ou eletricidade, e seus dados não são enviados para serviços de terceiros. Antes de migrar, compare a qualidade da extração em suas próprias páginas: um modelo local pode ter um desempenho inferior ao de um comercial.

Conclusão

Um LLM não substitui a raspagem tradicional; ele a complementa. Seletores XPath e CSS lidam com layouts estáveis de forma mais rápida e barata, enquanto um LLM é útil quando os dados estão espalhados pelo texto ou o layout muda constantemente. Para tornar essa abordagem previsível, remova a marcação e as duplicatas ocultas do HTML, converta-o para Markdown e divida-o em lotes lógicos. Solicite respostas de acordo com um esquema JSON e valide tanto os resultados quanto os novos seletores em seu código.

Todo o processo começa com a recuperação do HTML, e é aqui que muitos sites criam barreiras bloqueando solicitações com base em endereços IP ou impressões digitais de navegador. No Octo Browser, cada perfil tem sua própria impressão digital e proxy, de modo que o site o enxerga como um usuário separado. Os perfis podem ser iniciados usando a API e conectados ao Playwright ou Puppeteer, facilitando sua integração a um raspador. Você pode então processar o HTML recuperado seguindo as etapas descritas neste artigo.

Mantenha-se atualizado com as últimas notícias do Octo Browser

Ao clicar no botão, você concorda com a nossa Política de Privacidade.

Mantenha-se atualizado com as últimas notícias do Octo Browser

Ao clicar no botão, você concorda com a nossa Política de Privacidade.

Mantenha-se atualizado com as últimas notícias do Octo Browser

Ao clicar no botão, você concorda com a nossa Política de Privacidade.

Junte-se ao Octo Browser agora mesmo

Ou entre em contato com a equipe de suporte no chat para tirar dúvidas a qualquer momento.

Junte-se ao Octo Browser agora mesmo

Ou entre em contato com a equipe de suporte no chat para tirar dúvidas a qualquer momento.

Junte-se ao Octo Browser agora mesmo

Ou entre em contato com a equipe de suporte no chat para tirar dúvidas a qualquer momento.

©

2026

Octo Browser

©

2026

Octo Browser

©

2026

Octo Browser