Cách sử dụng LLM để thu thập dữ liệu web mà không tốn quá nhiều token

Cách sử dụng LLM để thu thập dữ liệu web mà không tốn quá nhiều token
Markus_automation
Markus_automation

Expert in data parsing and automation

Các công cụ thu thập dữ liệu (scraper) truyền thống sẽ gặp sự cố trên các trang web có bố cục động: các lớp (class) bị tạo lại, các biểu thức XPath không còn tìm thấy phần tử và các biểu thức chính quy (regex) ngày càng trở nên phức tạp. Mô hình ngôn ngữ lớn (LLM) tìm kiếm dữ liệu dựa trên ngữ nghĩa thay vì vị trí của phần tử, do đó những thay đổi về bố cục sẽ không ảnh hưởng đến nó. Tuy nhiên, nếu bạn cung cấp cho mô hình toàn bộ trang, bạn sẽ tốn nhiều token hơn và nhận lại dữ liệu cần phải kiểm tra lại.

Trong bài viết này, chúng ta sẽ xem xét thời điểm bạn thực sự cần đến LLM, cách chuẩn bị mã HTML để giảm lượng token sử dụng, và cách nhận phản hồi theo định dạng được xác định trước.

Nội dung

Duy trì danh tính ẩn trực tuyến của bạn với Octo Browser. Dấu vân tay số thật của bạn sẽ không thể bị truy vết.

Bạn có muốn thử trải nghiệm Octo Browser với giá ưu đãi không?
Sử dụng mã khuyến mại OCTOBLOG để được giảm giá 30% cho bất kỳ gói đăng ký nào. Ưu đãi này chỉ dành riêng cho người dùng mới.

Cách chuẩn bị HTML trước khi gửi đến LLM

Trước khi gửi HTML đến LLM, hãy dọn dẹp nó, chuyển đổi sang Markdown và chia thành các đoạn nhỏ. Điều này giúp giảm mức sử dụng token và giúp mô hình tìm thấy dữ liệu bạn cần dễ dàng hơn.

Đầu tiên, bạn cần lấy HTML. Đối với nhiều trang web, một tập lệnh thông thường là đủ. Nhưng nếu một trang web chặn các yêu cầu tự động, bạn sẽ cần các hồ sơ trình duyệt có vân tay và proxy riêng biệt, chẳng hạn như những hồ sơ mà Octo Browser cung cấp. Chúng tôi giải thích cách khởi chạy hồ sơ bằng API và kết nối Playwright với hồ sơ đó tại đây:

HTML thô phần lớn bao gồm mã đánh dấu. Dưới đây là một nút thông thường:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

Dữ liệu hữu ích duy nhất ở đây là từ “Buy”, chiếm một token. Toàn bộ nút này chiếm 44 token theo bộ mã hóa token o200k_base được sử dụng bởi các mô hình GPT-4o. Nếu bạn gửi mã này đến API, bạn đang trả tiền để các lớp CSS được xử lý, khiến mô hình khó tập trung vào dữ liệu thực tế hơn. Toàn bộ một trang, chẳng hạn như document.body.innerHTML, thậm chí có thể không vừa với giới hạn token cho một yêu cầu duy nhất.

Quá trình chuẩn bị bao gồm ba bước.

Bước 1. Dọn dẹp DOM

Xóa mọi thứ không mang thông tin hữu ích: các thẻ <script>, <style>, <svg>, <iframe> và <noscript>, cũng như các hình ảnh được mã hóa base64. Bạn có thể thực hiện việc này trực tiếp trong trình duyệt bằng cách sử dụng page.evaluate() hoặc trên phần phụ trợ với BeautifulSoup hoặc Cheerio. Sau đó, xóa các thuộc tính class, style và data-*. Nếu bạn không cần siêu dữ liệu của trang, hãy xóa cả nội dung của <head>, bao gồm các liên kết bảng định kiểu, thẻ meta và nhận xét.

Page code before cleaning

Mã trang trước khi dọn dẹp

Page code after removing scripts, styles, and attributes

Mã trang sau khi xóa tập lệnh, kiểu và thuộc tính

Ở giai đoạn này, hãy kiểm tra trang để tìm các phần trùng lặp. Nhiều trang web hiển thị giá và tên sản phẩm hai lần: một phiên bản hiển thị cho người dùng, trong khi phiên bản còn lại bị ẩn và dành cho trình đọc màn hình. Trình duyệt chỉ hiển thị một phiên bản, nhưng bộ chuyển đổi sẽ trích xuất cả hai và hợp nhất chúng thành một dòng duy nhất. Hãy xóa một trong các phiên bản trong quá trình dọn dẹp, ví dụ: các phần tử có thuộc tính aria-hidden="true". Phiên bản nào cần giữ lại tùy thuộc vào cấu trúc đánh dấu của trang web, vì vậy hãy kiểm tra mã của trang bạn đang làm việc trước khi thiết lập quy trình dọn dẹp.

Bước 2. Chuyển đổi HTML sang Markdown

Markdown giữ nguyên cấu trúc tương tự như HTML (tiêu đề, danh sách và bảng) nhưng hầu như không tốn chi phí đánh dấu dư thừa. Các LLM đã được huấn luyện trên dữ liệu từ GitHub, Reddit và Wikipedia, nơi Markdown được sử dụng rộng rãi, do đó chúng xử lý định dạng này rất tốt. Bạn có thể sử dụng các thư viện như Turndown (JavaScript) hoặc html2text (Python) để chuyển đổi.

Sự khác biệt có thể nhận thấy ngay cả trong một hàng bảng đơn lẻ. Trong HTML, hàng <tr><td>Price</td><td><span>$1,500</span></td></tr> chiếm 22 token, trong khi hàng Markdown | Price | $1,500 | chỉ chiếm 8 token.

Khi thiết lập bộ chuyển đổi, hãy đặt quy tắc cho các liên kết và hình ảnh. Chỉ giữ lại thuộc tính href khi thu thập thông tin liên hệ hoặc liên kết đến các trang sản phẩm; xóa thuộc tính này trong các trường hợp khác. Đối với hình ảnh, chỉ giữ lại văn bản trong thuộc tính alt. Càng ít mã đánh dấu trong văn bản thì càng ít nhiễu làm mô hình mất tập trung vào dữ liệu.

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

Văn bản trang sau khi chuyển đổi: chỉ còn lại văn bản alt cho hình ảnh; giá bị trùng lặp do các bản sao ẩn

Bước 3. Chia nội dung thành các đoạn nhỏ

Ngay cả khi danh mục vừa với cửa sổ ngữ cảnh của mô hình, tốt hơn là không nên gửi tất cả cùng một lúc. Trong học máy, điều này được gọi là hiện tượng Lost in the Middle. Nghiên cứu đã chỉ ra rằng các LLM kém hiệu quả hơn trong việc sử dụng thông tin ở giữa một ngữ cảnh dài so với thông tin ở đầu hoặc cuối. Với một danh mục lớn, điều này có thể dẫn đến việc mô hình bỏ qua một số thẻ sản phẩm ở giữa danh sách hoặc tự tạo ra các mục không tồn tại.

Đừng chia văn bản theo số lượng ký tự, ví dụ bằng cách sử dụng markdown_text.substring(0, 5000): điểm cắt có thể rơi vào giữa một từ hoặc mức giá. Thay vào đó, hãy chia nó thành các khối hợp lý trong khi xử lý DOM:

  • Tập lệnh tìm tất cả các vùng chứa thẻ sản phẩm, ví dụ: sử dụng document.querySelectorAll('.product-card').

  • Mảng các thẻ được chia thành các lô, ví dụ: 30–50 thẻ mỗi lô.

  • Mỗi lô được chuyển đổi sang Markdown riêng biệt.

  • Các lô được gửi đến LLM trong các yêu cầu song song. Số lượng yêu cầu đồng thời phụ thuộc vào giới hạn API của bạn.

  • Tập lệnh kết hợp các mảng JSON thu được thành một.

Bằng cách này, mô hình sẽ xử lý đầy đủ từng đoạn ngắn, mỗi yêu cầu luôn nằm trong giới hạn token và các yêu cầu song song giúp giảm tổng thời gian xử lý.

Cách nhận JSON từ LLM theo một lược đồ xác định trước

Chế độ Structured Outputs đảm bảo rằng JSON được tạo theo một lược đồ được xác định trước: tên trường và kiểu dữ liệu trong phản hồi của mô hình khớp chính xác với lược đồ. Điều này được gọi là JSON nghiêm ngặt.

Chế độ json_object, vốn là tiêu chuẩn trong một thời gian dài, chỉ đảm bảo cú pháp hợp lệ: dấu ngoặc và dấu ngoặc kép sẽ ở đúng vị trí. Tên trường và kiểu dữ liệu vẫn có thể thay đổi. Hôm nay, mô hình có thể trả về khóa price; ngày mai, nó có thể trả về price_usd. Nó cũng có thể trả về chuỗi "$1 500" thay vì số 1500. Một tập lệnh đang đợi price là một số sẽ thất bại khi nhận được phản hồi như vậy.

Structured Outputs sử dụng phương pháp giải mã có ràng buộc. Ở mỗi bước tạo, API sẽ kiểm tra các token tiếp theo có thể có dựa trên lược đồ JSON và loại bỏ bất kỳ token nào vi phạm lược đồ đó. Nếu lược đồ yêu cầu một số, mô hình sẽ không thể đưa các chữ cái vào trường đó. Bạn có thể xác định các lược đồ một cách thuận tiện bằng Pydantic trong Python hoặc Zod trong JavaScript.

Hãy thử nghiệm điều này với một ví dụ. Chúng tôi sẽ gửi cho mô hình một câu lệnh yêu cầu trả về giá bằng chữ, cùng với một lược đồ yêu cầu giá phải là một số:

import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")
import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

Lược đồ đảm bảo định dạng của phản hồi chứ không đảm bảo tính chính xác của các giá trị trong đó. Nếu mô hình mắc lỗi hoặc tự nghĩ ra mức giá, mô hình vẫn sẽ trả về mức giá đó ở đúng trường và kiểu dữ liệu. Lược đồ cũng không bảo vệ chống lại việc phản hồi bị cắt ngắn do giới hạn token hoặc mô hình từ chối trả lời, vì vậy bạn cần xử lý các trường hợp này trong mã của mình.

Bạn có thể thêm mô tả cho từng trường lược đồ bằng tham số description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")
from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

Mô hình sẽ tính đến các mô tả này khi điền vào từng trường.

Để trích xuất dữ liệu, hãy đặt temperature thành 0 hoặc thành 0.1 đối với một số mô hình cục bộ. Mô hình sẽ chọn các token có khả năng cao nhất, làm cho các phản hồi cho cùng một HTML gần như giống hệt nhau. Tuy nhiên, các API không đảm bảo khả năng tái lập hoàn toàn và một số mô hình lập luận không cho phép bạn định cấu hình temperature.

Một LLM tạo văn bản bằng cách dự đoán phần tiếp theo có khả năng cao nhất. Nếu dung lượng pin của điện thoại thông minh hầu như luôn được bao gồm trong dữ liệu huấn luyện của mô hình, thì mô hình có thể thêm dung lượng đó vào phản hồi ngay cả khi trang không chứa thông tin đó. Hai kỹ thuật có thể giúp giảm rủi ro này:

  • Sử dụng các trường tùy chọn trong lược đồ, chẳng hạn như Optional[float], như trong ví dụ trên.

  • Thêm quy tắc null vào câu lệnh hệ thống, ví dụ: "Nếu dữ liệu không có trên trang, hãy trả về null. Không được tự bịa ra các giá trị hoặc sử dụng kiến thức của riêng bạn. Chỉ trích xuất những gì có trong văn bản được cung cấp."

Đối với các định dạng khác thường, hãy thêm một hoặc hai ví dụ đầu vào/đầu ra vào câu lệnh. Ví dụ: một trang web có thể thông báo "Còn lại: 3 sản phẩm (1 đã đặt trước)," khiến việc xác định nên sử dụng số nào trở nên không rõ ràng. Một ví dụ hiển thị câu trả lời mong đợi sẽ hiệu quả hơn một quy tắc dài dòng.

Các mô hình không hỗ trợ Structured Outputs, bao gồm một số mô hình cục bộ và các API thay thế, có thể trả về JSON bên trong một khối mã Markdown:

```json
{ "price": 1500 }
```
```json
{ "price": 1500 }
```

Các hàm json.loads() và JSON.parse() sẽ gặp lỗi đối với phản hồi này. Do đó, hãy dọn dẹp phản hồi trước khi phân tích cú pháp, sau đó xác thực phản hồi bằng chính mô hình Pydantic đó:

import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)
import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Điều này cho phép bạn phát hiện các lỗi định dạng ngay lập tức thay vì phát hiện ra chúng trong cơ sở dữ liệu của bạn. Bạn càng xác định lược đồ và câu lệnh một cách chính xác thì mô hình càng có ít không gian để suy diễn và kết quả càng dễ dự đoán hơn.

Cách giảm chi phí thu thập dữ liệu dựa trên LLM ở quy mô lớn

Khi xử lý khối lượng dữ liệu lớn, việc sử dụng LLM để hỗ trợ một trình thu thập truyền thống sẽ tiết kiệm chi phí hơn so với việc xử lý mọi trang bằng mô hình. Một cách khác để tiết kiệm chi phí là chạy mô hình trên máy chủ của riêng bạn.

Trình thu thập tự phục hồi

Các bộ chọn XPath và CSS truyền thống nên đảm nhận phần lớn công việc, và LLM chỉ can thiệp khi trình thu thập dữ liệu gặp sự cố:

  • Tập lệnh thu thập dữ liệu các trang bằng các bộ chọn truyền thống.

  • Trang web thay đổi bố cục, bộ chọn không còn tìm thấy giá nữa và khối try/except sẽ bắt lỗi.

  • Tập lệnh gửi cho LLM bộ chọn cũ và một đoạn HTML mới, với câu hỏi: "Đây là XPath cũ và một đoạn của DOM mới. Hãy trả về XPath mới cho giá cả."

  • Tập lệnh kiểm tra bộ chọn mới trên một số trang và nếu nó hoạt động, tập lệnh sẽ lưu nó vào cấu hình và tiếp tục thu thập dữ liệu.

Token chỉ được sử dụng khi có sự cố xảy ra chứ không phải cho mọi trang. Đừng bỏ qua việc xác thực bộ chọn mới: LLM có thể trả về một XPath tìm thấy sai phần tử.

Mô hình cục bộ

Các API của OpenAI hoặc Anthropic rất thuận tiện cho việc tạo nguyên mẫu, nhưng việc xử lý hàng triệu trang mỗi ngày—ví dụ: khi theo dõi các sàn thương mại điện tử—có thể khiến chi phí API trở nên đáng kể. Một giải pháp thay thế là chạy một mô hình trọng số mở (open-weight) trên máy chủ của riêng bạn hoặc máy chủ GPU thuê. Các mô hình hoạt động tốt với mã nguồn, chẳng hạn như Qwen 3.6, rất phù hợp cho việc thu thập dữ liệu. Bạn có thể chạy chúng bằng Ollama hoặc vLLM. Cả hai công cụ đều hỗ trợ việc tạo dựa trên lược đồ JSON, do đó phương pháp được mô tả trong phần trước cũng hoạt động ở đây.

Trong trường hợp này, chi phí của bạn chỉ giới hạn ở việc thuê máy chủ hoặc tiền điện và dữ liệu của bạn không được gửi đến các dịch vụ bên thứ ba. Trước khi chuyển đổi, hãy so sánh chất lượng trích xuất trên các trang của riêng bạn: một mô hình cục bộ có thể hoạt động kém hơn một mô hình thương mại.

Kết luận

LLM không thay thế việc thu thập dữ liệu truyền thống; nó bổ sung cho phương pháp đó. Các bộ chọn XPath và CSS xử lý các bố cục ổn định nhanh hơn và rẻ hơn, trong khi LLM rất hữu ích khi dữ liệu nằm rải rác trong văn bản hoặc bố cục thay đổi liên tục. Để làm cho phương pháp này có thể dự đoán được, hãy loại bỏ mã đánh dấu và các phần trùng lặp ẩn khỏi HTML, chuyển đổi nó sang Markdown và chia nó thành các lô hợp lý. Yêu cầu phản hồi theo lược đồ JSON, đồng thời xác thực cả kết quả và bất kỳ bộ chọn mới nào trong mã của bạn.

Toàn bộ quy trình bắt đầu bằng việc truy xuất HTML, và đây là nơi nhiều trang web dựng lên rào cản bằng cách chặn các yêu cầu dựa trên địa chỉ IP hoặc vân tay trình duyệt. Trong Octo Browser, mỗi hồ sơ có vân tay và proxy riêng, vì vậy trang web sẽ xem nó như một người dùng riêng biệt. Các hồ sơ có thể được khởi chạy bằng API và kết nối với Playwright hoặc Puppeteer, giúp chúng dễ dàng tích hợp vào một trình thu thập dữ liệu. Sau đó, bạn có thể xử lý HTML đã truy xuất bằng các bước được mô tả trong bài viết này.

Duy trì danh tính ẩn trực tuyến của bạn với Octo Browser. Dấu vân tay số thật của bạn sẽ không thể bị truy vết.

Bạn có muốn thử trải nghiệm Octo Browser với giá ưu đãi không?
Sử dụng mã khuyến mại OCTOBLOG để được giảm giá 30% cho bất kỳ gói đăng ký nào. Ưu đãi này chỉ dành riêng cho người dùng mới.

Cách chuẩn bị HTML trước khi gửi đến LLM

Trước khi gửi HTML đến LLM, hãy dọn dẹp nó, chuyển đổi sang Markdown và chia thành các đoạn nhỏ. Điều này giúp giảm mức sử dụng token và giúp mô hình tìm thấy dữ liệu bạn cần dễ dàng hơn.

Đầu tiên, bạn cần lấy HTML. Đối với nhiều trang web, một tập lệnh thông thường là đủ. Nhưng nếu một trang web chặn các yêu cầu tự động, bạn sẽ cần các hồ sơ trình duyệt có vân tay và proxy riêng biệt, chẳng hạn như những hồ sơ mà Octo Browser cung cấp. Chúng tôi giải thích cách khởi chạy hồ sơ bằng API và kết nối Playwright với hồ sơ đó tại đây:

HTML thô phần lớn bao gồm mã đánh dấu. Dưới đây là một nút thông thường:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

Dữ liệu hữu ích duy nhất ở đây là từ “Buy”, chiếm một token. Toàn bộ nút này chiếm 44 token theo bộ mã hóa token o200k_base được sử dụng bởi các mô hình GPT-4o. Nếu bạn gửi mã này đến API, bạn đang trả tiền để các lớp CSS được xử lý, khiến mô hình khó tập trung vào dữ liệu thực tế hơn. Toàn bộ một trang, chẳng hạn như document.body.innerHTML, thậm chí có thể không vừa với giới hạn token cho một yêu cầu duy nhất.

Quá trình chuẩn bị bao gồm ba bước.

Bước 1. Dọn dẹp DOM

Xóa mọi thứ không mang thông tin hữu ích: các thẻ <script>, <style>, <svg>, <iframe> và <noscript>, cũng như các hình ảnh được mã hóa base64. Bạn có thể thực hiện việc này trực tiếp trong trình duyệt bằng cách sử dụng page.evaluate() hoặc trên phần phụ trợ với BeautifulSoup hoặc Cheerio. Sau đó, xóa các thuộc tính class, style và data-*. Nếu bạn không cần siêu dữ liệu của trang, hãy xóa cả nội dung của <head>, bao gồm các liên kết bảng định kiểu, thẻ meta và nhận xét.

Page code before cleaning

Mã trang trước khi dọn dẹp

Page code after removing scripts, styles, and attributes

Mã trang sau khi xóa tập lệnh, kiểu và thuộc tính

Ở giai đoạn này, hãy kiểm tra trang để tìm các phần trùng lặp. Nhiều trang web hiển thị giá và tên sản phẩm hai lần: một phiên bản hiển thị cho người dùng, trong khi phiên bản còn lại bị ẩn và dành cho trình đọc màn hình. Trình duyệt chỉ hiển thị một phiên bản, nhưng bộ chuyển đổi sẽ trích xuất cả hai và hợp nhất chúng thành một dòng duy nhất. Hãy xóa một trong các phiên bản trong quá trình dọn dẹp, ví dụ: các phần tử có thuộc tính aria-hidden="true". Phiên bản nào cần giữ lại tùy thuộc vào cấu trúc đánh dấu của trang web, vì vậy hãy kiểm tra mã của trang bạn đang làm việc trước khi thiết lập quy trình dọn dẹp.

Bước 2. Chuyển đổi HTML sang Markdown

Markdown giữ nguyên cấu trúc tương tự như HTML (tiêu đề, danh sách và bảng) nhưng hầu như không tốn chi phí đánh dấu dư thừa. Các LLM đã được huấn luyện trên dữ liệu từ GitHub, Reddit và Wikipedia, nơi Markdown được sử dụng rộng rãi, do đó chúng xử lý định dạng này rất tốt. Bạn có thể sử dụng các thư viện như Turndown (JavaScript) hoặc html2text (Python) để chuyển đổi.

Sự khác biệt có thể nhận thấy ngay cả trong một hàng bảng đơn lẻ. Trong HTML, hàng <tr><td>Price</td><td><span>$1,500</span></td></tr> chiếm 22 token, trong khi hàng Markdown | Price | $1,500 | chỉ chiếm 8 token.

Khi thiết lập bộ chuyển đổi, hãy đặt quy tắc cho các liên kết và hình ảnh. Chỉ giữ lại thuộc tính href khi thu thập thông tin liên hệ hoặc liên kết đến các trang sản phẩm; xóa thuộc tính này trong các trường hợp khác. Đối với hình ảnh, chỉ giữ lại văn bản trong thuộc tính alt. Càng ít mã đánh dấu trong văn bản thì càng ít nhiễu làm mô hình mất tập trung vào dữ liệu.

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

Văn bản trang sau khi chuyển đổi: chỉ còn lại văn bản alt cho hình ảnh; giá bị trùng lặp do các bản sao ẩn

Bước 3. Chia nội dung thành các đoạn nhỏ

Ngay cả khi danh mục vừa với cửa sổ ngữ cảnh của mô hình, tốt hơn là không nên gửi tất cả cùng một lúc. Trong học máy, điều này được gọi là hiện tượng Lost in the Middle. Nghiên cứu đã chỉ ra rằng các LLM kém hiệu quả hơn trong việc sử dụng thông tin ở giữa một ngữ cảnh dài so với thông tin ở đầu hoặc cuối. Với một danh mục lớn, điều này có thể dẫn đến việc mô hình bỏ qua một số thẻ sản phẩm ở giữa danh sách hoặc tự tạo ra các mục không tồn tại.

Đừng chia văn bản theo số lượng ký tự, ví dụ bằng cách sử dụng markdown_text.substring(0, 5000): điểm cắt có thể rơi vào giữa một từ hoặc mức giá. Thay vào đó, hãy chia nó thành các khối hợp lý trong khi xử lý DOM:

  • Tập lệnh tìm tất cả các vùng chứa thẻ sản phẩm, ví dụ: sử dụng document.querySelectorAll('.product-card').

  • Mảng các thẻ được chia thành các lô, ví dụ: 30–50 thẻ mỗi lô.

  • Mỗi lô được chuyển đổi sang Markdown riêng biệt.

  • Các lô được gửi đến LLM trong các yêu cầu song song. Số lượng yêu cầu đồng thời phụ thuộc vào giới hạn API của bạn.

  • Tập lệnh kết hợp các mảng JSON thu được thành một.

Bằng cách này, mô hình sẽ xử lý đầy đủ từng đoạn ngắn, mỗi yêu cầu luôn nằm trong giới hạn token và các yêu cầu song song giúp giảm tổng thời gian xử lý.

Cách nhận JSON từ LLM theo một lược đồ xác định trước

Chế độ Structured Outputs đảm bảo rằng JSON được tạo theo một lược đồ được xác định trước: tên trường và kiểu dữ liệu trong phản hồi của mô hình khớp chính xác với lược đồ. Điều này được gọi là JSON nghiêm ngặt.

Chế độ json_object, vốn là tiêu chuẩn trong một thời gian dài, chỉ đảm bảo cú pháp hợp lệ: dấu ngoặc và dấu ngoặc kép sẽ ở đúng vị trí. Tên trường và kiểu dữ liệu vẫn có thể thay đổi. Hôm nay, mô hình có thể trả về khóa price; ngày mai, nó có thể trả về price_usd. Nó cũng có thể trả về chuỗi "$1 500" thay vì số 1500. Một tập lệnh đang đợi price là một số sẽ thất bại khi nhận được phản hồi như vậy.

Structured Outputs sử dụng phương pháp giải mã có ràng buộc. Ở mỗi bước tạo, API sẽ kiểm tra các token tiếp theo có thể có dựa trên lược đồ JSON và loại bỏ bất kỳ token nào vi phạm lược đồ đó. Nếu lược đồ yêu cầu một số, mô hình sẽ không thể đưa các chữ cái vào trường đó. Bạn có thể xác định các lược đồ một cách thuận tiện bằng Pydantic trong Python hoặc Zod trong JavaScript.

Hãy thử nghiệm điều này với một ví dụ. Chúng tôi sẽ gửi cho mô hình một câu lệnh yêu cầu trả về giá bằng chữ, cùng với một lược đồ yêu cầu giá phải là một số:

import os
from pydantic import BaseModel
from openai import OpenAI

# Read the API key from an environment variable instead of hardcoding it
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# Schema: price must be a number (float)
class Product(BaseModel):
    title: str
    price: float

# Adversarial prompt: ask for the price in words
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# Structured Outputs request: the .parse method with the schema in response_format
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

Lược đồ đảm bảo định dạng của phản hồi chứ không đảm bảo tính chính xác của các giá trị trong đó. Nếu mô hình mắc lỗi hoặc tự nghĩ ra mức giá, mô hình vẫn sẽ trả về mức giá đó ở đúng trường và kiểu dữ liệu. Lược đồ cũng không bảo vệ chống lại việc phản hồi bị cắt ngắn do giới hạn token hoặc mô hình từ chối trả lời, vì vậy bạn cần xử lý các trường hợp này trong mã của mình.

Bạn có thể thêm mô tả cho từng trường lược đồ bằng tham số description:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

Mô hình sẽ tính đến các mô tả này khi điền vào từng trường.

Để trích xuất dữ liệu, hãy đặt temperature thành 0 hoặc thành 0.1 đối với một số mô hình cục bộ. Mô hình sẽ chọn các token có khả năng cao nhất, làm cho các phản hồi cho cùng một HTML gần như giống hệt nhau. Tuy nhiên, các API không đảm bảo khả năng tái lập hoàn toàn và một số mô hình lập luận không cho phép bạn định cấu hình temperature.

Một LLM tạo văn bản bằng cách dự đoán phần tiếp theo có khả năng cao nhất. Nếu dung lượng pin của điện thoại thông minh hầu như luôn được bao gồm trong dữ liệu huấn luyện của mô hình, thì mô hình có thể thêm dung lượng đó vào phản hồi ngay cả khi trang không chứa thông tin đó. Hai kỹ thuật có thể giúp giảm rủi ro này:

  • Sử dụng các trường tùy chọn trong lược đồ, chẳng hạn như Optional[float], như trong ví dụ trên.

  • Thêm quy tắc null vào câu lệnh hệ thống, ví dụ: "Nếu dữ liệu không có trên trang, hãy trả về null. Không được tự bịa ra các giá trị hoặc sử dụng kiến thức của riêng bạn. Chỉ trích xuất những gì có trong văn bản được cung cấp."

Đối với các định dạng khác thường, hãy thêm một hoặc hai ví dụ đầu vào/đầu ra vào câu lệnh. Ví dụ: một trang web có thể thông báo "Còn lại: 3 sản phẩm (1 đã đặt trước)," khiến việc xác định nên sử dụng số nào trở nên không rõ ràng. Một ví dụ hiển thị câu trả lời mong đợi sẽ hiệu quả hơn một quy tắc dài dòng.

Các mô hình không hỗ trợ Structured Outputs, bao gồm một số mô hình cục bộ và các API thay thế, có thể trả về JSON bên trong một khối mã Markdown:

```json
{ "price": 1500 }
```

Các hàm json.loads() và JSON.parse() sẽ gặp lỗi đối với phản hồi này. Do đó, hãy dọn dẹp phản hồi trước khi phân tích cú pháp, sau đó xác thực phản hồi bằng chính mô hình Pydantic đó:

import re

# Strip Markdown code fences, then validate against the schema
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

Điều này cho phép bạn phát hiện các lỗi định dạng ngay lập tức thay vì phát hiện ra chúng trong cơ sở dữ liệu của bạn. Bạn càng xác định lược đồ và câu lệnh một cách chính xác thì mô hình càng có ít không gian để suy diễn và kết quả càng dễ dự đoán hơn.

Cách giảm chi phí thu thập dữ liệu dựa trên LLM ở quy mô lớn

Khi xử lý khối lượng dữ liệu lớn, việc sử dụng LLM để hỗ trợ một trình thu thập truyền thống sẽ tiết kiệm chi phí hơn so với việc xử lý mọi trang bằng mô hình. Một cách khác để tiết kiệm chi phí là chạy mô hình trên máy chủ của riêng bạn.

Trình thu thập tự phục hồi

Các bộ chọn XPath và CSS truyền thống nên đảm nhận phần lớn công việc, và LLM chỉ can thiệp khi trình thu thập dữ liệu gặp sự cố:

  • Tập lệnh thu thập dữ liệu các trang bằng các bộ chọn truyền thống.

  • Trang web thay đổi bố cục, bộ chọn không còn tìm thấy giá nữa và khối try/except sẽ bắt lỗi.

  • Tập lệnh gửi cho LLM bộ chọn cũ và một đoạn HTML mới, với câu hỏi: "Đây là XPath cũ và một đoạn của DOM mới. Hãy trả về XPath mới cho giá cả."

  • Tập lệnh kiểm tra bộ chọn mới trên một số trang và nếu nó hoạt động, tập lệnh sẽ lưu nó vào cấu hình và tiếp tục thu thập dữ liệu.

Token chỉ được sử dụng khi có sự cố xảy ra chứ không phải cho mọi trang. Đừng bỏ qua việc xác thực bộ chọn mới: LLM có thể trả về một XPath tìm thấy sai phần tử.

Mô hình cục bộ

Các API của OpenAI hoặc Anthropic rất thuận tiện cho việc tạo nguyên mẫu, nhưng việc xử lý hàng triệu trang mỗi ngày—ví dụ: khi theo dõi các sàn thương mại điện tử—có thể khiến chi phí API trở nên đáng kể. Một giải pháp thay thế là chạy một mô hình trọng số mở (open-weight) trên máy chủ của riêng bạn hoặc máy chủ GPU thuê. Các mô hình hoạt động tốt với mã nguồn, chẳng hạn như Qwen 3.6, rất phù hợp cho việc thu thập dữ liệu. Bạn có thể chạy chúng bằng Ollama hoặc vLLM. Cả hai công cụ đều hỗ trợ việc tạo dựa trên lược đồ JSON, do đó phương pháp được mô tả trong phần trước cũng hoạt động ở đây.

Trong trường hợp này, chi phí của bạn chỉ giới hạn ở việc thuê máy chủ hoặc tiền điện và dữ liệu của bạn không được gửi đến các dịch vụ bên thứ ba. Trước khi chuyển đổi, hãy so sánh chất lượng trích xuất trên các trang của riêng bạn: một mô hình cục bộ có thể hoạt động kém hơn một mô hình thương mại.

Kết luận

LLM không thay thế việc thu thập dữ liệu truyền thống; nó bổ sung cho phương pháp đó. Các bộ chọn XPath và CSS xử lý các bố cục ổn định nhanh hơn và rẻ hơn, trong khi LLM rất hữu ích khi dữ liệu nằm rải rác trong văn bản hoặc bố cục thay đổi liên tục. Để làm cho phương pháp này có thể dự đoán được, hãy loại bỏ mã đánh dấu và các phần trùng lặp ẩn khỏi HTML, chuyển đổi nó sang Markdown và chia nó thành các lô hợp lý. Yêu cầu phản hồi theo lược đồ JSON, đồng thời xác thực cả kết quả và bất kỳ bộ chọn mới nào trong mã của bạn.

Toàn bộ quy trình bắt đầu bằng việc truy xuất HTML, và đây là nơi nhiều trang web dựng lên rào cản bằng cách chặn các yêu cầu dựa trên địa chỉ IP hoặc vân tay trình duyệt. Trong Octo Browser, mỗi hồ sơ có vân tay và proxy riêng, vì vậy trang web sẽ xem nó như một người dùng riêng biệt. Các hồ sơ có thể được khởi chạy bằng API và kết nối với Playwright hoặc Puppeteer, giúp chúng dễ dàng tích hợp vào một trình thu thập dữ liệu. Sau đó, bạn có thể xử lý HTML đã truy xuất bằng các bước được mô tả trong bài viết này.

Cập nhật với các tin tức Octo Browser mới nhất

Khi nhấp vào nút này, bạn sẽ đồng ý với Chính sách Quyền riêng tư của chúng tôi.

Cập nhật với các tin tức Octo Browser mới nhất

Khi nhấp vào nút này, bạn sẽ đồng ý với Chính sách Quyền riêng tư của chúng tôi.

Cập nhật với các tin tức Octo Browser mới nhất

Khi nhấp vào nút này, bạn sẽ đồng ý với Chính sách Quyền riêng tư của chúng tôi.

Tham gia Octo Browser ngay

Hoặc liên hệ với Dịch vụ khách hàng bất kì lúc nào nếu bạn có bất cứ thắc mắc nào.

Tham gia Octo Browser ngay

Hoặc liên hệ với Dịch vụ khách hàng bất kì lúc nào nếu bạn có bất cứ thắc mắc nào.

Tham gia Octo Browser ngay

Hoặc liên hệ với Dịch vụ khách hàng bất kì lúc nào nếu bạn có bất cứ thắc mắc nào.

©

2026

Octo Browser

©

2026

Octo Browser

©

2026

Octo Browser