如何使用大语言模型进行网页抓取而不过度消耗 Token

如何使用大语言模型进行网页抓取而不过度消耗 Token
Markus_automation
Markus_automation

Expert in data parsing and automation

传统的爬虫在面对动态布局的网站时往往会失效:类名会重新生成、XPath 表达式无法定位元素,而正则表达式也变得愈发复杂。大语言模型(LLM)依据语义而非元素的位置来查找数据,因此布局的变动不会对其产生影响。然而,如果将整个页面提供给模型,不仅会消耗更多的 Token,得到的数据还需要再次进行核对。

在本文中,我们将探讨何时真正需要使用 LLM、如何预处理 HTML 以降低 Token 消耗,以及如何获取预定义格式的响应。

内容

使用Octo Browser维护您的在线匿名性。您真实的数字指纹无法被追踪。

您想以折扣价体验 Octo Browser 吗?
使用优惠码 OCTOBLOG 即可享受任何订阅的 30% 优惠。此优惠仅对新用户有效。

如何将 HTML 发送给大语言模型前进行预处理

在将 HTML 发送给大语言模型之前,先对其进行清理、转换为 Markdown 并分块。这可以减少 Token 消耗,并使模型更容易找到您需要的数据。

首先,您需要获取 HTML。对于许多网站,普通的脚本就足够了。但如果网站阻止自动化请求,您就需要具有独立指纹和代理的浏览器配置文件,例如 Octo Browser 提供的配置。我们在此说明如何使用 API 启动配置文件并为其连接 Playwright:

原始 HTML 大部分由标记组成。这是一个典型的按钮:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>
<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

这里唯一有用的数据是“Buy”这个词,它占用一个 Token。根据 GPT-4o 模型使用的 o200k_base 分词器,整个按钮占用 44 个 Token。如果您将此代码发送到 API,您实际上是在为处理 CSS 类付费,这使得模型更难专注于实际数据。整个页面(例如 document.body.innerHTML)甚至可能超出单个请求的 Token 限制。

准备工作包括三个步骤。

步骤 1. 清理 DOM

删除所有不包含有用信息的内容:<script>、<style>、<svg>、<iframe> 和 <noscript> 标签,以及 Base64 编码的图像。您可以直接在浏览器中使用 page.evaluate() 完成此操作,也可以在后端使用 BeautifulSoup 或 Cheerio 处理。然后删除 class、style 和 data-* 属性。如果您不需要页面元数据,也可以删除 <head> 的内容,包括样式表链接、Meta 标签和注释。

Page code before cleaning

清理前的页面代码

Page code after removing scripts, styles, and attributes

删除脚本、样式和属性后的页面代码

在此阶段,还要检查页面是否有重复内容。许多网站会显示两次价格和产品名称:一个版本对用户可见,另一个版本隐藏且供屏幕阅读器使用。浏览器只显示一个版本,但转换器会提取这两个版本,并将它们合并为一行。在清理期间删除其中一个版本,例如带有 aria-hidden="true" 属性的元素。保留哪个版本取决于网站的标记结构,因此在配置清理规则之前,请先检查您正在处理的页面代码。

步骤 2. 将 HTML 转换为 Markdown

Markdown 保留了与 HTML 相同的结构(标题、列表和表格),但几乎没有标记开销。大语言模型已经在来自 GitHub、Reddit 和维基百科的数据上进行了训练,Markdown 在这些平台上得到了广泛应用,因此它们能很好地处理这种格式。您可以使用 Turndown (JavaScript) 或 html2text (Python) 等库进行转换。

即使在单个表格行中,这种差异也很明显。在 HTML 中,行 <tr><td>Price</td><td><span>$1,500</span></td></tr> 占用 22 个 Token,而 Markdown 行 | Price | $1,500 | 仅占用 8 个。

配置转换器时,请为链接和图像设置规则。仅在抓取联系方式或产品页面链接时保留 href 属性;在其他情况下将其删除。对于图像,仅保留 alt 属性中的文本。文本中的标记越少,分散模型对数据注意力的噪点就越少。

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

转换后的页面文本:图像仅保留 alt 文本;由于隐藏的重复项,价格显示重复

步骤 3. 将内容拆分成块

即使某个目录能够放入模型的上下文窗口中,最好也不要一次性全部发送。在机器学习中,这被称为“迷失在中间”(Lost in the Middle)现象。研究表明,与上下文开头或结尾的信息相比,大语言模型利用长上下文中间信息的效果较差。对于大型目录,这可能意味着模型会跳过列表中间的一些产品卡片,或者凭空捏造不存在的条目。

不要按字符数拆分文本,例如使用 markdown_text.substring(0, 5000):切分可能会截断在单词或价格的中间。相反,应在处理 DOM 时将其拆分为逻辑块:

  • 脚本找到所有产品卡片容器,例如使用 document.querySelectorAll('.product-card')。

  • 卡片数组被划分为多个批次,例如每批 30–50 张卡片。

  • 每个批次单独转换为 Markdown。

  • 批次以并行请求的方式发送给大语言模型。并发请求的数量取决于您的 API 限制。

  • 脚本将生成的 JSON 数组合并为一个。

通过这种方式,模型能够完整处理每个短片段,每个请求都保持在 Token 限制之内,并且并行请求缩短了总处理时间。

如何根据预定义架构从大语言模型获取 JSON

结构化输出(Structured Outputs)模式可确保根据预定义架构生成 JSON:模型响应中的字段名称和数据类型与该架构完全匹配。这被称为严格 JSON。

长期作为标准的 json_object 模式仅保证语法有效:括号和引号会位于正确的位置。但字段名称和数据类型仍可能发生变化。今天,模型可能会返回 price 键;明天,它可能会返回 price_usd。它还可能返回字符串 "$1 500" 而不是数字 1500。期望 price 为数字的脚本在收到此类响应时将会报错。

结构化输出使用受限解码。在每个生成步骤中,API 都会根据 JSON 架构检查可能的下一个 Token,并丢弃任何会违反架构的 Token。如果架构需要数字,模型将无法在该字段中输入字母。您可以方便地在 Python 中使用 Pydantic 或在 JavaScript 中使用 Zod 来定义架构。

让我们通过一个例子来测试这一点。我们将向模型发送一个提示,要求其以文字形式返回价格,同时提供一个要求价格必须为数字的架构:

import os
from pydantic import BaseModel
from openai import OpenAI

# 从环境变量读取 API 密钥,而不是硬编码
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# 架构:价格必须是数字 (float)
class Product(BaseModel):
    title: str
    price: float

# 对抗性提示:要求用文字形式表示价格
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# 结构化输出请求:在 response_format 中包含架构的 .parse 方法
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")
import os
from pydantic import BaseModel
from openai import OpenAI

# 从环境变量读取 API 密钥,而不是硬编码
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# 架构:价格必须是数字 (float)
class Product(BaseModel):
    title: str
    price: float

# 对抗性提示:要求用文字形式表示价格
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# 结构化输出请求:在 response_format 中包含架构的 .parse 方法
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

该架构保证了响应的格式,但不能保证其值的准确性。如果模型出错或虚构了价格,它仍然会以正确的字段和数据类型返回。该架构也无法防止因 Token 限制导致的响应截断或模型拒绝回答,因此您需要在代码中处理这些情况。

您可以使用 description 参数为每个架构字段添加描述:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")
from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

模型在填充每个字段时会考虑这些描述。

对于数据提取,将 temperature 设置为 0,对于某些本地模型可设置为 0.1。模型将选择最有可能的 Token,使对相同 HTML 的响应几乎完全一致。但是,API 无法保证完全的可复现性,并且某些推理模型不允许配置 temperature。

大语言模型通过预测最可能的后续内容来生成文本。如果智能手机的电池容量几乎总是包含在模型的训练数据中,那么即使页面不包含该信息,模型也可能会将其添加到响应中。两种技术有助于降低这种风险:

  • 在架构中使用可选字段,例如上例中的 Optional[float]。

  • 在系统提示中添加一条 null 规则,例如:“如果页面上没有该数据,请返回 null。不要编造数值或使用你自己的知识。仅提取所提供文本中存在的内容。”

对于不寻常的格式,请在提示中添加一两个输入/输出示例。例如,某个网站可能会显示“剩余:3 件(1 件已预留)”,这使得要提取哪个数字变得模棱两可。展示预期答案的一个示例比一条长规则更有效。

不支持结构化输出的模型(包括某些本地模型和替代 API)可能会在 Markdown 代码块中返回 JSON:

```json
{ "price": 1500 }
```
```json
{ "price": 1500 }
```

json.loads() 和 JSON.parse() 函数在此类响应上会运行失败。因此,在解析响应之前先对其进行清理,然后使用相同的 Pydantic 模型进行验证:

import re

# 去除 Markdown 代码块标记,然后对照架构进行验证
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)
import re

# 去除 Markdown 代码块标记,然后对照架构进行验证
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

这样可以让您立即捕获格式错误,而不是在数据库中才发现它们。架构和提示定义得越精确,模型解释的空间就越小,结果也就越可预测。

如何在大规模基于大语言模型的爬虫中降低成本

在处理大量数据时,使用大语言模型来辅助传统爬虫比使用模型处理每个页面更具成本效益。另一种省钱的方法是在您自己的服务器上运行模型。

自愈爬虫

传统的 XPath 和 CSS 选择器应承担大部分工作,大语言模型仅在爬虫失效时介入:

  • 脚本使用传统选择器抓取页面。

  • 网站更改了其布局,选择器无法再找到价格,try/except 代码块捕获到错误。

  • 脚本向大语言模型发送旧选择器和新 HTML 的片段,询问:“这是旧的 XPath 和新 DOM 的片段。请为价格返回一个新的 XPath。”

  • 脚本在几个页面上测试新选择器,如果有效,则将其保存到配置中并恢复抓取。

仅在出现故障时才会消耗 Token,而不是针对每个页面。切勿跳过对新选择器的验证:大语言模型返回的 XPath 可能会定位到错误的元素。

本地模型

OpenAI 或 Anthropic API 便于快速构建原型,但每天处理数百万个页面(例如在监控电商市场时)可能会导致高昂的 API 成本。一种替代方案是在您自己的服务器或租用的 GPU 服务器上运行开源权重模型。擅长处理代码的模型(例如 Qwen 3.6)非常适合爬虫任务。您可以使用 Ollama 或 vLLM 运行它们。这两种工具都支持基于 JSON 架构的生成,因此上一节中描述的方法在这里同样适用。

在这种情况下,您的成本仅限于服务器租金或电力费用,并且您的数据不会发送给第三方服务。在切换之前,请在您自己的页面上对比提取质量:本地模型的表现可能会逊于商业模型。

结论

大语言模型并不能取代传统爬虫,而是对其进行补充。XPath 和 CSS 选择器能够更快、更便宜地处理稳定的布局,而当数据分散在文本中或布局经常变动时,大语言模型就派上了用场。为了使这种方法的效果更可预测,请从 HTML 中删除标记和隐藏的重复项,将其转换为 Markdown,并拆分为逻辑批次。根据 JSON 架构请求响应,并在代码中验证结果及任何新选择器。

整个过程始于获取 HTML,而许多网站正是通过基于 IP 地址或浏览器指纹阻止请求来设置屏障的。在 Octo Browser 中,每个配置文件都有自己的指纹和代理,因此网站会将其视为独立用户。这些配置文件可以通过 API 启动并连接到 Playwright 或 Puppeteer,使其易于集成到爬虫中。随后,您就可以按照本文所述的步骤处理获取到的 HTML。

使用Octo Browser维护您的在线匿名性。您真实的数字指纹无法被追踪。

您想以折扣价体验 Octo Browser 吗?
使用优惠码 OCTOBLOG 即可享受任何订阅的 30% 优惠。此优惠仅对新用户有效。

如何将 HTML 发送给大语言模型前进行预处理

在将 HTML 发送给大语言模型之前,先对其进行清理、转换为 Markdown 并分块。这可以减少 Token 消耗,并使模型更容易找到您需要的数据。

首先,您需要获取 HTML。对于许多网站,普通的脚本就足够了。但如果网站阻止自动化请求,您就需要具有独立指纹和代理的浏览器配置文件,例如 Octo Browser 提供的配置。我们在此说明如何使用 API 启动配置文件并为其连接 Playwright:

原始 HTML 大部分由标记组成。这是一个典型的按钮:

<button class="bg-blue-500 hover:bg-blue-700 text-white font-bold py-2 px-4 rounded mt-4 w-full flex items-center justify-center" data-id="12345">Buy</button>

这里唯一有用的数据是“Buy”这个词,它占用一个 Token。根据 GPT-4o 模型使用的 o200k_base 分词器,整个按钮占用 44 个 Token。如果您将此代码发送到 API,您实际上是在为处理 CSS 类付费,这使得模型更难专注于实际数据。整个页面(例如 document.body.innerHTML)甚至可能超出单个请求的 Token 限制。

准备工作包括三个步骤。

步骤 1. 清理 DOM

删除所有不包含有用信息的内容:<script>、<style>、<svg>、<iframe> 和 <noscript> 标签,以及 Base64 编码的图像。您可以直接在浏览器中使用 page.evaluate() 完成此操作,也可以在后端使用 BeautifulSoup 或 Cheerio 处理。然后删除 class、style 和 data-* 属性。如果您不需要页面元数据,也可以删除 <head> 的内容,包括样式表链接、Meta 标签和注释。

Page code before cleaning

清理前的页面代码

Page code after removing scripts, styles, and attributes

删除脚本、样式和属性后的页面代码

在此阶段,还要检查页面是否有重复内容。许多网站会显示两次价格和产品名称:一个版本对用户可见,另一个版本隐藏且供屏幕阅读器使用。浏览器只显示一个版本,但转换器会提取这两个版本,并将它们合并为一行。在清理期间删除其中一个版本,例如带有 aria-hidden="true" 属性的元素。保留哪个版本取决于网站的标记结构,因此在配置清理规则之前,请先检查您正在处理的页面代码。

步骤 2. 将 HTML 转换为 Markdown

Markdown 保留了与 HTML 相同的结构(标题、列表和表格),但几乎没有标记开销。大语言模型已经在来自 GitHub、Reddit 和维基百科的数据上进行了训练,Markdown 在这些平台上得到了广泛应用,因此它们能很好地处理这种格式。您可以使用 Turndown (JavaScript) 或 html2text (Python) 等库进行转换。

即使在单个表格行中,这种差异也很明显。在 HTML 中,行 <tr><td>Price</td><td><span>$1,500</span></td></tr> 占用 22 个 Token,而 Markdown 行 | Price | $1,500 | 仅占用 8 个。

配置转换器时,请为链接和图像设置规则。仅在抓取联系方式或产品页面链接时保留 href 属性;在其他情况下将其删除。对于图像,仅保留 alt 属性中的文本。文本中的标记越少,分散模型对数据注意力的噪点就越少。

Page text after conversion: only the alt text remains for images; prices are duplicated because of hidden duplicates

转换后的页面文本:图像仅保留 alt 文本;由于隐藏的重复项,价格显示重复

步骤 3. 将内容拆分成块

即使某个目录能够放入模型的上下文窗口中,最好也不要一次性全部发送。在机器学习中,这被称为“迷失在中间”(Lost in the Middle)现象。研究表明,与上下文开头或结尾的信息相比,大语言模型利用长上下文中间信息的效果较差。对于大型目录,这可能意味着模型会跳过列表中间的一些产品卡片,或者凭空捏造不存在的条目。

不要按字符数拆分文本,例如使用 markdown_text.substring(0, 5000):切分可能会截断在单词或价格的中间。相反,应在处理 DOM 时将其拆分为逻辑块:

  • 脚本找到所有产品卡片容器,例如使用 document.querySelectorAll('.product-card')。

  • 卡片数组被划分为多个批次,例如每批 30–50 张卡片。

  • 每个批次单独转换为 Markdown。

  • 批次以并行请求的方式发送给大语言模型。并发请求的数量取决于您的 API 限制。

  • 脚本将生成的 JSON 数组合并为一个。

通过这种方式,模型能够完整处理每个短片段,每个请求都保持在 Token 限制之内,并且并行请求缩短了总处理时间。

如何根据预定义架构从大语言模型获取 JSON

结构化输出(Structured Outputs)模式可确保根据预定义架构生成 JSON:模型响应中的字段名称和数据类型与该架构完全匹配。这被称为严格 JSON。

长期作为标准的 json_object 模式仅保证语法有效:括号和引号会位于正确的位置。但字段名称和数据类型仍可能发生变化。今天,模型可能会返回 price 键;明天,它可能会返回 price_usd。它还可能返回字符串 "$1 500" 而不是数字 1500。期望 price 为数字的脚本在收到此类响应时将会报错。

结构化输出使用受限解码。在每个生成步骤中,API 都会根据 JSON 架构检查可能的下一个 Token,并丢弃任何会违反架构的 Token。如果架构需要数字,模型将无法在该字段中输入字母。您可以方便地在 Python 中使用 Pydantic 或在 JavaScript 中使用 Zod 来定义架构。

让我们通过一个例子来测试这一点。我们将向模型发送一个提示,要求其以文字形式返回价格,同时提供一个要求价格必须为数字的架构:

import os
from pydantic import BaseModel
from openai import OpenAI

# 从环境变量读取 API 密钥,而不是硬编码
client = OpenAI(api_key=os.environ["OPENAI_API_KEY"])

# 架构:价格必须是数字 (float)
class Product(BaseModel):
    title: str
    price: float

# 对抗性提示:要求用文字形式表示价格
html_chunk = "Name: Gaming laptop. Price: one hundred thousand rubles."
evil_prompt = "RETURN THE PRICE IN WORDS ONLY! No digits! This is critical!"

# 结构化输出请求:在 response_format 中包含架构的 .parse 方法
response = client.chat.completions.parse(
    model="gpt-4o-mini",
    messages=[
        {"role": "system", "content": evil_prompt},
        {"role": "user", "content": html_chunk},
    ],
    response_format=Product,
    temperature=0.0,
)

result = response.choices[0].message.parsed
print("\n=== RESULT ===")
print(result)
print(f"Data type of the price field: {type(result.price)}")

该架构保证了响应的格式,但不能保证其值的准确性。如果模型出错或虚构了价格,它仍然会以正确的字段和数据类型返回。该架构也无法防止因 Token 限制导致的响应截断或模型拒绝回答,因此您需要在代码中处理这些情况。

您可以使用 description 参数为每个架构字段添加描述:

from typing import Optional
from pydantic import BaseModel, Field

class Product(BaseModel):
    title: str = Field(description="Full product name without SEO filler")
    price: Optional[float] = Field(description="Price as a number only. If there is a discount, use the final price")
    in_stock: Optional[bool] = Field(description="Whether the product is in stock")

模型在填充每个字段时会考虑这些描述。

对于数据提取,将 temperature 设置为 0,对于某些本地模型可设置为 0.1。模型将选择最有可能的 Token,使对相同 HTML 的响应几乎完全一致。但是,API 无法保证完全的可复现性,并且某些推理模型不允许配置 temperature。

大语言模型通过预测最可能的后续内容来生成文本。如果智能手机的电池容量几乎总是包含在模型的训练数据中,那么即使页面不包含该信息,模型也可能会将其添加到响应中。两种技术有助于降低这种风险:

  • 在架构中使用可选字段,例如上例中的 Optional[float]。

  • 在系统提示中添加一条 null 规则,例如:“如果页面上没有该数据,请返回 null。不要编造数值或使用你自己的知识。仅提取所提供文本中存在的内容。”

对于不寻常的格式,请在提示中添加一两个输入/输出示例。例如,某个网站可能会显示“剩余:3 件(1 件已预留)”,这使得要提取哪个数字变得模棱两可。展示预期答案的一个示例比一条长规则更有效。

不支持结构化输出的模型(包括某些本地模型和替代 API)可能会在 Markdown 代码块中返回 JSON:

```json
{ "price": 1500 }
```

json.loads() 和 JSON.parse() 函数在此类响应上会运行失败。因此,在解析响应之前先对其进行清理,然后使用相同的 Pydantic 模型进行验证:

import re

# 去除 Markdown 代码块标记,然后对照架构进行验证
clean_response = re.sub(r"```(?:json)?\s*", "", raw_response).strip()
product = Product.model_validate_json(clean_response)

这样可以让您立即捕获格式错误,而不是在数据库中才发现它们。架构和提示定义得越精确,模型解释的空间就越小,结果也就越可预测。

如何在大规模基于大语言模型的爬虫中降低成本

在处理大量数据时,使用大语言模型来辅助传统爬虫比使用模型处理每个页面更具成本效益。另一种省钱的方法是在您自己的服务器上运行模型。

自愈爬虫

传统的 XPath 和 CSS 选择器应承担大部分工作,大语言模型仅在爬虫失效时介入:

  • 脚本使用传统选择器抓取页面。

  • 网站更改了其布局,选择器无法再找到价格,try/except 代码块捕获到错误。

  • 脚本向大语言模型发送旧选择器和新 HTML 的片段,询问:“这是旧的 XPath 和新 DOM 的片段。请为价格返回一个新的 XPath。”

  • 脚本在几个页面上测试新选择器,如果有效,则将其保存到配置中并恢复抓取。

仅在出现故障时才会消耗 Token,而不是针对每个页面。切勿跳过对新选择器的验证:大语言模型返回的 XPath 可能会定位到错误的元素。

本地模型

OpenAI 或 Anthropic API 便于快速构建原型,但每天处理数百万个页面(例如在监控电商市场时)可能会导致高昂的 API 成本。一种替代方案是在您自己的服务器或租用的 GPU 服务器上运行开源权重模型。擅长处理代码的模型(例如 Qwen 3.6)非常适合爬虫任务。您可以使用 Ollama 或 vLLM 运行它们。这两种工具都支持基于 JSON 架构的生成,因此上一节中描述的方法在这里同样适用。

在这种情况下,您的成本仅限于服务器租金或电力费用,并且您的数据不会发送给第三方服务。在切换之前,请在您自己的页面上对比提取质量:本地模型的表现可能会逊于商业模型。

结论

大语言模型并不能取代传统爬虫,而是对其进行补充。XPath 和 CSS 选择器能够更快、更便宜地处理稳定的布局,而当数据分散在文本中或布局经常变动时,大语言模型就派上了用场。为了使这种方法的效果更可预测,请从 HTML 中删除标记和隐藏的重复项,将其转换为 Markdown,并拆分为逻辑批次。根据 JSON 架构请求响应,并在代码中验证结果及任何新选择器。

整个过程始于获取 HTML,而许多网站正是通过基于 IP 地址或浏览器指纹阻止请求来设置屏障的。在 Octo Browser 中,每个配置文件都有自己的指纹和代理,因此网站会将其视为独立用户。这些配置文件可以通过 API 启动并连接到 Playwright 或 Puppeteer,使其易于集成到爬虫中。随后,您就可以按照本文所述的步骤处理获取到的 HTML。

随时获取最新的Octo Browser新闻

通过点击按钮,您同意我们的 隐私政策。

随时获取最新的Octo Browser新闻

通过点击按钮,您同意我们的 隐私政策。

随时获取最新的Octo Browser新闻

通过点击按钮,您同意我们的 隐私政策。

立即加入Octo Browser

或者随时联系客户服务,如果您有任何问题。

立即加入Octo Browser

或者随时联系客户服务,如果您有任何问题。

立即加入Octo Browser

或者随时联系客户服务,如果您有任何问题。

©

2026年

Octo Browser

©

2026年

Octo Browser

©

2026年

Octo Browser