
Markus_automation
Expert in data parsing and automation
Классические парсеры ломаются на сайтах с динамической версткой: классы генерируются заново, XPath перестает находить элементы, а регулярные выражения разрастаются. LLM ищет данные по смыслу, а не по пути к элементу, поэтому смена верстки ей не мешает. Но если отдать модели страницу целиком, вы переплатите за токены и получите данные, которые придется перепроверять.
В статье разбираем, в каких задачах модель действительно нужна, как подготовить HTML, чтобы тратить меньше токенов, и как получать ответ в заданном формате.
Содержание
Сохраняйте анонимность с Octo Browser, ведь отследить ваш реальный цифровой отпечаток невозможно.
Хотите попробовать Octo Browser со скидкой?
По промокоду OCTOBLOG получите 30% скидку на любую подписку. Предложение действительно только для новых пользователей.
Как использовать LLM в парсинге и не переплачивать за токены
Классические парсеры ломаются на сайтах с динамической версткой: классы генерируются заново, XPath перестает находить элементы, а регулярные выражения разрастаются. LLM ищет данные по смыслу, а не по пути к элементу, поэтому смена верстки ей не мешает. Но если отдать модели страницу целиком, вы переплатите за токены и получите данные, которые придется перепроверять.
В статье разбираем, в каких задачах модель действительно нужна, как подготовить HTML, чтобы тратить меньше токенов, и как получать ответ в заданном формате.
Когда LLM нужна в парсинге
LLM стоит подключать там, где у данных нет стабильных селекторов: в неструктурированном тексте, отзывах без четких тегов, карточках товаров с плавающей версткой. Стабильные таблицы и элементы с постоянными id быстрее и дешевле парсить через XPath- или CSS-селекторы.
Классический парсер работает по точной инструкции: «Спустись в третий div, найди класс .price-bold и забери текст». Если сайт обновил верстку или запустил A/B-тест и заменил div на span, парсер нужно переписывать.
LLM не зависит от путей к элементам. Модель ищет данные по смыслу: если попросить извлечь цену, она найдет число рядом с символом валюты («¥», «$», «€») и проигнорирует служебную разметку вокруг.
При этом каждый запрос к LLM стоит денег и времени: API берет плату за каждый токен, а ответ приходит заметно медленнее, чем результат обычного скрипта. Поэтому основную работу оставляем классическим селекторам, а LLM подключаем только там, где они не справляются.
Как подготовить HTML перед отправкой в LLM
Перед отправкой в LLM HTML нужно очистить, перевести в Markdown и разбить на части. Так вы тратите меньше токенов, а модели проще найти нужные данные.
Сначала HTML нужно получить. Со многих сайтов это можно сделать обычным скриптом. Но если сайт блокирует автоматизированные запросы, понадобятся профили браузера с отдельными отпечатками и прокси, например в Octo Browser. Как запустить профиль через API и подключить к нему Playwright, рассказываем в статье:
Необработанный HTML состоит в основном из разметки. Вот типичная кнопка:
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
Полезных данных здесь — одно слово Buy, это 1 токен. Вся кнопка занимает 44 токена по подсчету токенайзера o200k_base, который используют модели GPT-4o. Если отправить такой код в API, вы платите за чтение CSS-классов, а модели сложнее сосредоточиться на данных. Целая страница, например document.body.innerHTML, может и вовсе не поместиться в лимит токенов на один запрос.
Подготовка проходит в три шага.
Шаг 1. Очистите DOM
Удалите все, что не несет смысла: теги <script>, <style>, <svg>, <iframe>, <noscript> и base64-картинки. Сделать это можно прямо в браузере через page.evaluate() или на бэкенде с помощью BeautifulSoup или Cheerio. Затем уберите атрибуты class, style и data-*. Если метаданные страницы не нужны, удалите и содержимое <head>: ссылки на стили, метатеги и комментарии.

Код страницы до очистки

Код страницы после удаления скриптов, стилей и атрибутов
На этом же шаге проверьте страницу на дубли. Многие сайты выводят цены и названия товаров дважды: одну версию видит пользователь, другая скрыта и предназначена для экранных дикторов. Браузер показывает только одну из них, а конвертер забирает текст обеих, и они слипаются в одну строку. Удалите одну из версий при очистке, например элементы с атрибутом aria-hidden="true". Какую версию оставить, зависит от разметки сайта, поэтому перед настройкой посмотрите код нужной страницы.
Шаг 2. Переведите HTML в Markdown
Markdown передает ту же структуру, что и HTML (заголовки, списки, таблицы), но почти без служебных символов. LLM обучались в том числе на данных GitHub, Reddit и Wikipedia, где много Markdown, поэтому модели хорошо работают с этим форматом. Для конвертации подойдут библиотеки Turndown (JavaScript) или html2text (Python).
Разница заметна даже на одной строке таблицы. В HTML строка <tr><td>Price</td><td><span>$1,500</span></td></tr> занимает 22 токена, а в Markdown строка | Price | $1,500 | — 8 токенов.
При настройке конвертера задайте правила для ссылок и картинок. Атрибут href оставляйте, только если парсите контакты или ссылки на страницы товаров, в остальных случаях удаляйте. От картинок оставляйте только текст атрибута alt. Чем меньше в тексте разметки, тем меньше шума, который отвлекает модель от данных.

Текст страницы после конвертации: от картинок остался только alt, цены задвоены из-за скрытых дублей
Шаг 3. Разбейте контент на части
Даже если каталог помещается в контекстное окно модели, отправлять его целиком не стоит. В машинном обучении есть термин Lost in the Middle. Исследование показало, что LLM хуже используют информацию из середины длинного контекста, чем из начала и конца. На длинном каталоге это может проявиться так: модель пропустит часть карточек из середины списка или добавит несуществующие.
Делить текст по числу символов, например через markdown_text.substring(0, 5000), нельзя: разрез может пройти посередине слова или цены. Делить нужно по логическим блокам еще на этапе работы с DOM:
скрипт находит все контейнеры карточек, например через
document.querySelectorAll('.product-card');массив карточек делится на батчи, например по 30–50 карточек;
каждый батч отдельно переводится в Markdown;
батчи отправляются в LLM параллельными запросами, число потоков зависит от лимитов вашего API;
скрипт объединяет полученные JSON-массивы в один.
Так модель обрабатывает короткие фрагменты целиком, каждый запрос укладывается в лимит токенов, а параллельные запросы сокращают общее время обработки.
Как получить от LLM JSON по заданной схеме
Генерацию JSON по заданной схеме гарантирует режим Structured Outputs: в ответе модели названия полей и типы данных точно совпадают со схемой. Такой ответ называют строгим JSON.
Режим json_object, который долго был стандартом, гарантирует только валидный синтаксис: скобки и кавычки будут на месте. Названия полей и типы при этом могут меняться. Сегодня модель вернет ключ price, завтра — price_usd, а вместо числа 1500 — строку "$1 500". Скрипт, который ждет price в виде числа, на таком ответе выдаст ошибку.
Structured Outputs работает через ограниченное декодирование (constrained decoding). На каждом шаге генерации API сверяет возможные следующие токены с JSON-схемой и отбрасывает те, что ее нарушают. Если схема требует число, модель не сможет вписать в поле буквы. Схему удобно описывать через Pydantic в Python или Zod в JavaScript.
Проверим на примере. Отправим модели промпт, который требует вернуть цену прописью, и схему, в которой цена — число:
import os from pydantic import BaseModel from openai import OpenAI # Read the API key from an environment variable instead of hardcoding it client = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # Schema: price must be a number (float) class Product(BaseModel): title: str price: float # Adversarial prompt: ask for the price in words html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars." evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!" # Structured Outputs request: the .parse method with the schema in response_format response = client.chat.completions.parse( model="gpt-4o-mini", messages=[ {"role": "system", "content": evil_prompt}, {"role": "user", "content": html_chunk}, ], response_format=Product, temperature=0.0, ) result = response.choices[0].message.parsed print("\n=== RESULT ===") print(result) print(f"Data type of the price field: {type(result.price)}")
import os from pydantic import BaseModel from openai import OpenAI # Read the API key from an environment variable instead of hardcoding it client = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # Schema: price must be a number (float) class Product(BaseModel): title: str price: float # Adversarial prompt: ask for the price in words html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars." evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!" # Structured Outputs request: the .parse method with the schema in response_format response = client.chat.completions.parse( model="gpt-4o-mini", messages=[ {"role": "system", "content": evil_prompt}, {"role": "user", "content": html_chunk}, ], response_format=Product, temperature=0.0, ) result = response.choices[0].message.parsed print("\n=== RESULT ===") print(result) print(f"Data type of the price field: {type(result.price)}")

Модель вернула цену числом, как требует схема
Схема гарантирует форму ответа, но не правильность значений. Если модель ошибется или придумает цену, она вернет ее в нужном поле с нужным типом. Схема также не защищает от обрыва ответа по лимиту токенов и от отказа модели отвечать, поэтому такие случаи нужно обрабатывать в коде.
Каждое поле схемы можно сопроводить описанием в параметре description:
from typing import Optional from pydantic import BaseModel, Field class Product(BaseModel): title: str = Field(description="Full product name without SEO filler") price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price") in_stock: Optional[bool] = Field(description="Whether the product is in stock")
from typing import Optional from pydantic import BaseModel, Field class Product(BaseModel): title: str = Field(description="Full product name without SEO filler") price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price") in_stock: Optional[bool] = Field(description="Whether the product is in stock")
Модель учитывает эти описания при заполнении каждого поля.
Для извлечения данных ставьте temperature равным 0, а для некоторых локальных моделей — 0.1. Модель будет выбирать самые вероятные токены, и ответы на один и тот же HTML станут почти одинаковыми. Полной повторяемости API не гарантируют, а у части моделей с рассуждениями (reasoning) temperature не настраивается.
LLM генерирует текст, предсказывая наиболее вероятное продолжение. Если в обучающих данных у смартфона почти всегда указана емкость батареи, модель может добавить ее в ответ, даже если на странице такой информации нет. Снизить этот риск помогают два приема:
необязательные поля в схеме, например
Optional[float], как в примере выше;правило
nullв системном промпте, например: «Если данных нет на странице, верни null. Не додумывай значения и не используй свои знания. Извлекай только то, что есть в переданном тексте».
Для нестандартных форматов добавьте в промпт 1–2 примера «вход → выход». Например, на сайте написано «Осталось: 3 шт. (в резерве 1)», и непонятно, какое число брать. Один пример с нужным ответом работает надежнее, чем длинное правило.
Модели без поддержки Structured Outputs, в том числе часть локальных моделей и альтернативных API, могут вернуть JSON внутри Markdown-блока:
```json { "price": 1500 } ```
```json { "price": 1500 } ```
Функции json.loads() и JSON.parse() на таком ответе выдадут ошибку. Поэтому перед парсингом очищайте ответ, а затем проверяйте его той же Pydantic-моделью:
import re # Strip Markdown code fences, then validate against the schema clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip() product = Product.model_validate_json(clean_response)
import re # Strip Markdown code fences, then validate against the schema clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip() product = Product.model_validate_json(clean_response)
Так ошибки формата можно обнаружить сразу, а не в базе данных. Чем точнее сформулированы схема и промпт, тем меньше у модели пространства для интерпретаций и тем предсказуемее результат.
Как удешевить LLM-парсинг на больших объемах
На больших объемах LLM выгоднее использовать для поддержки классического парсера, а не для разбора каждой страницы. Второй способ сэкономить — запустить модель на своем сервере.
Самовосстанавливающийся парсер
Основная работа остается за XPath- и CSS-селекторами, а LLM подключается, только когда парсер дает сбой:
скрипт парсит страницы классическими селекторами;
сайт меняет верстку, селектор перестает находить цену, и блок
try/exceptперехватывает ошибку;скрипт отправляет в LLM старый селектор и фрагмент нового HTML с запросом: «Вот старый XPath и новый фрагмент DOM. Верни новый XPath для цены»;
скрипт проверяет новый селектор на нескольких страницах и, если он работает, записывает его в конфигурацию и продолжает работу.
Токены расходуются только при сбоях, а не на каждой странице. Проверку нового селектора не пропускайте: LLM может вернуть XPath, который находит не тот элемент.
Локальные модели
API OpenAI или Anthropic удобны для прототипа, но при ежедневной обработке миллионов страниц, например при мониторинге маркетплейсов, расходы на API становятся значительными. Альтернатива — запустить открытую модель на своем или арендованном сервере с GPU. Для парсинга подойдут модели, которые хорошо работают с кодом, например Qwen 3.6. Запускать их можно через Ollama или vLLM: оба инструмента поддерживают генерацию по JSON-схеме, поэтому подход из предыдущего раздела работает и здесь.
Расходы в этом случае сводятся к аренде сервера или электричеству, а данные не уходят сторонним сервисам. Перед переходом сравните качество извлечения на своих страницах: локальная модель может уступать коммерческой.
Итог
LLM не заменяет классический парсинг, а дополняет его. XPath- и CSS-селекторы быстрее и дешевле справляются со стабильной разметкой, а LLM нужна там, где данные разбросаны по тексту или верстка постоянно меняется. Чтобы такой парсинг работал предсказуемо, очищайте HTML от разметки и скрытых дублей, переводите его в Markdown и делите на логические батчи. Ответ запрашивайте по JSON-схеме, а результат и новые селекторы проверяйте в коде.
Вся эта цепочка начинается с получения HTML, и на этом этапе многие сайты ставят барьер: блокируют запросы по IP или отпечатку браузера. В Octo Browser у каждого профиля свой отпечаток и прокси, поэтому для сайта он выглядит как отдельный пользователь. Профили запускаются через API и подключаются к Playwright или Puppeteer, так что их легко встроить в парсер, а полученный HTML обработать по шагам из этой статьи.
Сохраняйте анонимность с Octo Browser, ведь отследить ваш реальный цифровой отпечаток невозможно.
Хотите попробовать Octo Browser со скидкой?
По промокоду OCTOBLOG получите 30% скидку на любую подписку. Предложение действительно только для новых пользователей.
Как использовать LLM в парсинге и не переплачивать за токены
Классические парсеры ломаются на сайтах с динамической версткой: классы генерируются заново, XPath перестает находить элементы, а регулярные выражения разрастаются. LLM ищет данные по смыслу, а не по пути к элементу, поэтому смена верстки ей не мешает. Но если отдать модели страницу целиком, вы переплатите за токены и получите данные, которые придется перепроверять.
В статье разбираем, в каких задачах модель действительно нужна, как подготовить HTML, чтобы тратить меньше токенов, и как получать ответ в заданном формате.
Когда LLM нужна в парсинге
LLM стоит подключать там, где у данных нет стабильных селекторов: в неструктурированном тексте, отзывах без четких тегов, карточках товаров с плавающей версткой. Стабильные таблицы и элементы с постоянными id быстрее и дешевле парсить через XPath- или CSS-селекторы.
Классический парсер работает по точной инструкции: «Спустись в третий div, найди класс .price-bold и забери текст». Если сайт обновил верстку или запустил A/B-тест и заменил div на span, парсер нужно переписывать.
LLM не зависит от путей к элементам. Модель ищет данные по смыслу: если попросить извлечь цену, она найдет число рядом с символом валюты («¥», «$», «€») и проигнорирует служебную разметку вокруг.
При этом каждый запрос к LLM стоит денег и времени: API берет плату за каждый токен, а ответ приходит заметно медленнее, чем результат обычного скрипта. Поэтому основную работу оставляем классическим селекторам, а LLM подключаем только там, где они не справляются.
Как подготовить HTML перед отправкой в LLM
Перед отправкой в LLM HTML нужно очистить, перевести в Markdown и разбить на части. Так вы тратите меньше токенов, а модели проще найти нужные данные.
Сначала HTML нужно получить. Со многих сайтов это можно сделать обычным скриптом. Но если сайт блокирует автоматизированные запросы, понадобятся профили браузера с отдельными отпечатками и прокси, например в Octo Browser. Как запустить профиль через API и подключить к нему Playwright, рассказываем в статье:
Необработанный HTML состоит в основном из разметки. Вот типичная кнопка:
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
Полезных данных здесь — одно слово Buy, это 1 токен. Вся кнопка занимает 44 токена по подсчету токенайзера o200k_base, который используют модели GPT-4o. Если отправить такой код в API, вы платите за чтение CSS-классов, а модели сложнее сосредоточиться на данных. Целая страница, например document.body.innerHTML, может и вовсе не поместиться в лимит токенов на один запрос.
Подготовка проходит в три шага.
Шаг 1. Очистите DOM
Удалите все, что не несет смысла: теги <script>, <style>, <svg>, <iframe>, <noscript> и base64-картинки. Сделать это можно прямо в браузере через page.evaluate() или на бэкенде с помощью BeautifulSoup или Cheerio. Затем уберите атрибуты class, style и data-*. Если метаданные страницы не нужны, удалите и содержимое <head>: ссылки на стили, метатеги и комментарии.

Код страницы до очистки

Код страницы после удаления скриптов, стилей и атрибутов
На этом же шаге проверьте страницу на дубли. Многие сайты выводят цены и названия товаров дважды: одну версию видит пользователь, другая скрыта и предназначена для экранных дикторов. Браузер показывает только одну из них, а конвертер забирает текст обеих, и они слипаются в одну строку. Удалите одну из версий при очистке, например элементы с атрибутом aria-hidden="true". Какую версию оставить, зависит от разметки сайта, поэтому перед настройкой посмотрите код нужной страницы.
Шаг 2. Переведите HTML в Markdown
Markdown передает ту же структуру, что и HTML (заголовки, списки, таблицы), но почти без служебных символов. LLM обучались в том числе на данных GitHub, Reddit и Wikipedia, где много Markdown, поэтому модели хорошо работают с этим форматом. Для конвертации подойдут библиотеки Turndown (JavaScript) или html2text (Python).
Разница заметна даже на одной строке таблицы. В HTML строка <tr><td>Price</td><td><span>$1,500</span></td></tr> занимает 22 токена, а в Markdown строка | Price | $1,500 | — 8 токенов.
При настройке конвертера задайте правила для ссылок и картинок. Атрибут href оставляйте, только если парсите контакты или ссылки на страницы товаров, в остальных случаях удаляйте. От картинок оставляйте только текст атрибута alt. Чем меньше в тексте разметки, тем меньше шума, который отвлекает модель от данных.

Текст страницы после конвертации: от картинок остался только alt, цены задвоены из-за скрытых дублей
Шаг 3. Разбейте контент на части
Даже если каталог помещается в контекстное окно модели, отправлять его целиком не стоит. В машинном обучении есть термин Lost in the Middle. Исследование показало, что LLM хуже используют информацию из середины длинного контекста, чем из начала и конца. На длинном каталоге это может проявиться так: модель пропустит часть карточек из середины списка или добавит несуществующие.
Делить текст по числу символов, например через markdown_text.substring(0, 5000), нельзя: разрез может пройти посередине слова или цены. Делить нужно по логическим блокам еще на этапе работы с DOM:
скрипт находит все контейнеры карточек, например через
document.querySelectorAll('.product-card');массив карточек делится на батчи, например по 30–50 карточек;
каждый батч отдельно переводится в Markdown;
батчи отправляются в LLM параллельными запросами, число потоков зависит от лимитов вашего API;
скрипт объединяет полученные JSON-массивы в один.
Так модель обрабатывает короткие фрагменты целиком, каждый запрос укладывается в лимит токенов, а параллельные запросы сокращают общее время обработки.
Как получить от LLM JSON по заданной схеме
Генерацию JSON по заданной схеме гарантирует режим Structured Outputs: в ответе модели названия полей и типы данных точно совпадают со схемой. Такой ответ называют строгим JSON.
Режим json_object, который долго был стандартом, гарантирует только валидный синтаксис: скобки и кавычки будут на месте. Названия полей и типы при этом могут меняться. Сегодня модель вернет ключ price, завтра — price_usd, а вместо числа 1500 — строку "$1 500". Скрипт, который ждет price в виде числа, на таком ответе выдаст ошибку.
Structured Outputs работает через ограниченное декодирование (constrained decoding). На каждом шаге генерации API сверяет возможные следующие токены с JSON-схемой и отбрасывает те, что ее нарушают. Если схема требует число, модель не сможет вписать в поле буквы. Схему удобно описывать через Pydantic в Python или Zod в JavaScript.
Проверим на примере. Отправим модели промпт, который требует вернуть цену прописью, и схему, в которой цена — число:
import os from pydantic import BaseModel from openai import OpenAI # Read the API key from an environment variable instead of hardcoding it client = OpenAI(api_key=os.environ["OPENAI_API_KEY"]) # Schema: price must be a number (float) class Product(BaseModel): title: str price: float # Adversarial prompt: ask for the price in words html_chunk = "Name: Gaming laptop. Price: one hundred thousand dollars." evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!" # Structured Outputs request: the .parse method with the schema in response_format response = client.chat.completions.parse( model="gpt-4o-mini", messages=[ {"role": "system", "content": evil_prompt}, {"role": "user", "content": html_chunk}, ], response_format=Product, temperature=0.0, ) result = response.choices[0].message.parsed print("\n=== RESULT ===") print(result) print(f"Data type of the price field: {type(result.price)}")

Модель вернула цену числом, как требует схема
Схема гарантирует форму ответа, но не правильность значений. Если модель ошибется или придумает цену, она вернет ее в нужном поле с нужным типом. Схема также не защищает от обрыва ответа по лимиту токенов и от отказа модели отвечать, поэтому такие случаи нужно обрабатывать в коде.
Каждое поле схемы можно сопроводить описанием в параметре description:
from typing import Optional from pydantic import BaseModel, Field class Product(BaseModel): title: str = Field(description="Full product name without SEO filler") price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price") in_stock: Optional[bool] = Field(description="Whether the product is in stock")
Модель учитывает эти описания при заполнении каждого поля.
Для извлечения данных ставьте temperature равным 0, а для некоторых локальных моделей — 0.1. Модель будет выбирать самые вероятные токены, и ответы на один и тот же HTML станут почти одинаковыми. Полной повторяемости API не гарантируют, а у части моделей с рассуждениями (reasoning) temperature не настраивается.
LLM генерирует текст, предсказывая наиболее вероятное продолжение. Если в обучающих данных у смартфона почти всегда указана емкость батареи, модель может добавить ее в ответ, даже если на странице такой информации нет. Снизить этот риск помогают два приема:
необязательные поля в схеме, например
Optional[float], как в примере выше;правило
nullв системном промпте, например: «Если данных нет на странице, верни null. Не додумывай значения и не используй свои знания. Извлекай только то, что есть в переданном тексте».
Для нестандартных форматов добавьте в промпт 1–2 примера «вход → выход». Например, на сайте написано «Осталось: 3 шт. (в резерве 1)», и непонятно, какое число брать. Один пример с нужным ответом работает надежнее, чем длинное правило.
Модели без поддержки Structured Outputs, в том числе часть локальных моделей и альтернативных API, могут вернуть JSON внутри Markdown-блока:
```json { "price": 1500 } ```
Функции json.loads() и JSON.parse() на таком ответе выдадут ошибку. Поэтому перед парсингом очищайте ответ, а затем проверяйте его той же Pydantic-моделью:
import re # Strip Markdown code fences, then validate against the schema clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip() product = Product.model_validate_json(clean_response)
Так ошибки формата можно обнаружить сразу, а не в базе данных. Чем точнее сформулированы схема и промпт, тем меньше у модели пространства для интерпретаций и тем предсказуемее результат.
Как удешевить LLM-парсинг на больших объемах
На больших объемах LLM выгоднее использовать для поддержки классического парсера, а не для разбора каждой страницы. Второй способ сэкономить — запустить модель на своем сервере.
Самовосстанавливающийся парсер
Основная работа остается за XPath- и CSS-селекторами, а LLM подключается, только когда парсер дает сбой:
скрипт парсит страницы классическими селекторами;
сайт меняет верстку, селектор перестает находить цену, и блок
try/exceptперехватывает ошибку;скрипт отправляет в LLM старый селектор и фрагмент нового HTML с запросом: «Вот старый XPath и новый фрагмент DOM. Верни новый XPath для цены»;
скрипт проверяет новый селектор на нескольких страницах и, если он работает, записывает его в конфигурацию и продолжает работу.
Токены расходуются только при сбоях, а не на каждой странице. Проверку нового селектора не пропускайте: LLM может вернуть XPath, который находит не тот элемент.
Локальные модели
API OpenAI или Anthropic удобны для прототипа, но при ежедневной обработке миллионов страниц, например при мониторинге маркетплейсов, расходы на API становятся значительными. Альтернатива — запустить открытую модель на своем или арендованном сервере с GPU. Для парсинга подойдут модели, которые хорошо работают с кодом, например Qwen 3.6. Запускать их можно через Ollama или vLLM: оба инструмента поддерживают генерацию по JSON-схеме, поэтому подход из предыдущего раздела работает и здесь.
Расходы в этом случае сводятся к аренде сервера или электричеству, а данные не уходят сторонним сервисам. Перед переходом сравните качество извлечения на своих страницах: локальная модель может уступать коммерческой.
Итог
LLM не заменяет классический парсинг, а дополняет его. XPath- и CSS-селекторы быстрее и дешевле справляются со стабильной разметкой, а LLM нужна там, где данные разбросаны по тексту или верстка постоянно меняется. Чтобы такой парсинг работал предсказуемо, очищайте HTML от разметки и скрытых дублей, переводите его в Markdown и делите на логические батчи. Ответ запрашивайте по JSON-схеме, а результат и новые селекторы проверяйте в коде.
Вся эта цепочка начинается с получения HTML, и на этом этапе многие сайты ставят барьер: блокируют запросы по IP или отпечатку браузера. В Octo Browser у каждого профиля свой отпечаток и прокси, поэтому для сайта он выглядит как отдельный пользователь. Профили запускаются через API и подключаются к Playwright или Puppeteer, так что их легко встроить в парсер, а полученный HTML обработать по шагам из этой статьи.
Следите за последними новостями Octo Browser
Нажимая кнопку, вы соглашаетесь с нашей политикой конфиденциальности.
Следите за последними новостями Octo Browser
Нажимая кнопку, вы соглашаетесь с нашей политикой конфиденциальности.
Следите за последними новостями Octo Browser
Нажимая кнопку, вы соглашаетесь с нашей политикой конфиденциальности.

Присоединяйтесь к Octo Browser сейчас
Вы можете обращаться за помощью к нашим специалистам службы поддержки в чате в любое время.

Присоединяйтесь к Octo Browser сейчас
Вы можете обращаться за помощью к нашим специалистам службы поддержки в чате в любое время.
Присоединяйтесь к Octo Browser сейчас
Вы можете обращаться за помощью к нашим специалистам службы поддержки в чате в любое время.

