如何抓取亚马逊数据

什么是网络抓取？

网络抓取是从网站自动收集数据的过程。特殊的程序或脚本，称为抓取器，从网页中提取信息并将其转换为结构化的数据格式，便于进一步分析和使用。存储和处理数据最常见的格式是CSV、JSON、SQL或Excel。

如今，网络抓取在数据科学、市场营销和电子商务中得到广泛应用。网络抓取器收集大量信息供个人和专业用途。此外，现代科技巨头依赖于网络抓取方法来监控和分析趋势。

网络抓取的工具和技术

Python和库

Python是网络抓取中最流行的编程语言之一。它以其简单明了的语法而闻名，使其成为初学者和经验丰富的编码者的理想选择。另一个优点是有广泛的网络抓取库可供使用，如Beautiful Soup、Scrapy、Requests和Selenium。这些库使您能够轻松发送HTTP请求、处理HTML文档以及与网页互动。

API

亚马逊提供访问其数据的API，如亚马逊产品广告API。这使您可以以结构化的格式请求特定信息，而无需解析整个HTML页面。

云服务

例如AWS Lambda和Google Cloud Functions 等云平台可用于自动化和扩展网络抓取过程。它们提供高性能及处理大量数据的能力。

专用工具

还有其他用于网络抓取的工具，如多账户浏览器和代理。它们的作用是伪装数字指纹，以绕过网站安全限制。这些工具加快了数据收集的速度。

亚马逊网络抓取的应用

市场和竞争分析

网络抓取使您能够收集有关竞争对手的产品和价格的数据，分析其产品范围，并识别趋势。这帮助公司调整其策略并保持竞争力。

价格监控

收集类似产品的价格数据帮助公司设定具有竞争力的价格，并及时对市场变化作出反应。这在动态定价和促销的背景下尤为重要。

收集评论和评级

评论和评级是消费者对产品感知的重要信息来源。分析这些数据有助于识别产品的优缺点，并获得改进产品的想法。

产品范围研究

通过网络抓取，您可以分析亚马逊上的产品范围，识别热门类别，并基于此做出扩展或更改产品组合的决策。

跟踪新产品

网络抓取可以帮助您快速了解新产品在平台上的出现，这对制造商、分销商和市场分析师非常有用。

导航亚马逊界面元素

在开始抓取之前，了解网页的结构是很重要的。大多数网页采用HTML编写，并包含标签、属性和类等元素。了解HTML将帮助您正确识别和提取所需的数据。

在亚马逊的主页上，购物者使用搜索栏输入与所需产品相关的关键词。因此，他们会收到包含产品名称、价格、评级和其他必要属性的产品列表。此外，产品可以通过各种参数进行过滤，如价格范围、产品类别和顾客评论。浏览这些组件帮助用户轻松找到他们感兴趣的产品，比较替代品，查看附加信息，并方便地在亚马逊上购买。

亚马逊主页，搜索查询为章鱼

要获得更广泛的结果列表，您可以使用位于页面底部的分页按钮。每个页面通常包含大量列表，让您可以浏览更多产品。页面顶部的筛选器使您能够根据需求精细化搜索。

为了理解亚马逊的HTML结构，请按照以下步骤操作：

1. 访问该网站。

2. 使用搜索栏搜索所需的产品，或从产品列表中选择一个类别。

3. 通过右键单击产品并从下拉菜单中选择检查，打开开发工具。

4. 检查HTML布局以识别您打算提取的数据的标签和属性。

开始抓取的关键步骤

网络抓取包括两个主要步骤：找到必要的信息和构建它。在研究了网站结构后，我们来设置自动化抓取过程所需的组件。

对于这项任务，我们将使用Python及其库：

• HTTPX是一款完全异步的HTTP Python库，也支持同步请求执行。HTTPX提供了一个与流行的requests库类似的标准HTTP接口，但额外支持异步性、HTTP/1.1、HTTP/2、HTTP/3协议和SOCKS连接。

• BeautifulSoup：这个库旨在快速和方便地解析HTML和XML文档。它提供了一个简单的接口，可以导航、搜索和修改文档树，使网络抓取过程更直观。它允许您通过搜索标签、属性或特定文本从页面中提取信息。

• Selenium：用于与动态网页互动。

• Pandas：这是一个功能强大且可靠的数据处理和清理库。例如，在从网页提取数据后，可以使用Pandas处理缺失值，将数据转换为所需格式，并删除重复项。

• Playwright：允许有效地与使用JavaScript进行动态内容更新的网页互动。这使其在抓取诸如亚马逊的网站时尤为有用，因为许多元素是异步加载的。

• Scrapy：用于更复杂的网络抓取任务。

准备好Python后，打开终端或命令行，并使用以下命令创建一个新的项目目录：

mkdir scraping-amazon-python
cd scraping-amazon-python

要安装库，请打开终端或命令行并运行以下命令：

pip install httpx
pip3 install pandas
pip3 install playwright
playwright install

注意：最后一条命令（playwright install）是至关重要的，因为它确保必要的浏览器文件正确安装。

确保安装过程顺利完成，没有任何问题，然后再继续下一步。如果在设置环境时遇到困难，您可以咨询AI服务，如ChatGPT、Mistral AI等。这些服务可以帮助您解决错误并提供逐步解决方案。

使用Python和库进行网络抓取

在您的项目目录中，创建一个名为amazon_scraper.py的新Python脚本，并添加以下代码：

import httpx
from playwright.async_api import async_playwright
import asyncio
import pandas as pd
# Profile's uuid from Octo
PROFILE_UUID = "UUID_SHOULD_BE_HERE"
# searching request
SEARCH_REQUEST = "fashion"
async def main():
    async with async_playwright() as p:
        async with httpx.AsyncClient() as client:
            response = await client.post(
                'http://127.0.0.1:58888/api/profiles/start',
                json={
                    'uuid': PROFILE_UUID,
                    'headless': False,
                    'debug_port': True
                }
            )
            if not response.is_success:
                print(f'Start response is not successful: {response.json()}')
                return
            start_response = response.json()
            ws_endpoint = start_response.get('ws_endpoint')
        browser = await p.chromium.connect_over_cdp(ws_endpoint)
        page = browser.contexts[0].pages[0]
        # Opening Amazon
        await page.goto(f'https://www.amazon.com/s?k={SEARCH_REQUEST}')
        # Extract information
        results = []
        listings = await page.query_selector_all('div.a-section.a-spacing-small')
        for listing in listings:
            result = {}
            # Product name
            name_element = await listing.query_selector('h2.a-size-mini > a > span')
            result['product_name'] = await name_element.inner_text() if name_element else 'N/A'
            # Rating
            rating_element = await listing.query_selector('span[aria-label*="out of 5 stars"] > span.a-size-base')
            result['rating'] = (await rating_element.inner_text())[0:3] if rating_element else 'N/A'
            # Number of reviews
            reviews_element = await listing.query_selector('span[aria-label*="stars"] + span > a > span')
            result['number_of_reviews'] = await reviews_element.inner_text() if reviews_element else 'N/A'
            # Price
            price_element = await listing.query_selector('span.a-price > span.a-offscreen')
            result['price'] = await price_element.inner_text() if price_element else 'N/A'
            if(result['product_name']=='N/A' and result['rating']=='N/A' and result['number_of_reviews']=='N/A' and result['price']=='N/A'):
                pass
            else:
                results.append(result)
        # Close browser
        await browser.close()
        return results
# Run the scraper and save results to a CSV file
results = asyncio.run(main())
df = pd.DataFrame(results)
df.to_csv('amazon_products_listings.csv', index=False)

在此代码中，我们使用Python的异步能力与Playwright库从特定亚马逊页面提取产品列表。我们启动一个Octo浏览器配置文件，然后通过Playwright库连接到它。该脚本打开一个带有特定搜索查询的URL，可以在脚本顶部的SEARCH_REQUEST变量中编辑。

通过启动浏览器并导航到目标亚马逊URL，您将提取产品信息：名称、评级、评论数量和价格。在迭代页面上的每个列表后，您可以过滤掉缺少数据的列表，该脚本将这些标记为“无”。搜索结果将保存在Pandas DataFrame中，然后导出到名为amazon_products_listings.csv的CSV文件中。

有效网络抓取还需要什么？

在没有代理和专用抓取工具的情况下进行亚马逊的网络抓取面临许多挑战。和许多其他流行平台一样，亚马逊有请求速率限制，这意味着如果您超过设定的请求限制，它可能会阻止您的IP地址。此外，亚马逊使用机器人检测算法，当您访问网站页面时，它们会识别您的数字指纹。因此，建议遵循常用的最佳实践，以避免被检测到和潜在的屏蔽。以下是一些最有用的提示和技巧：

模拟自然行为

亚马逊可以阻止或暂时暂停其认为机械或可疑的活动。确保您的抓取器看起来尽可能像人类。

为了形成一个成功的抓取模式，考虑普通用户在浏览页面时的行为，并添加相应的点击、滚动和鼠标移动。为了避免阻止，请引入延迟或请求之间的随机间隔，使用诸如asyncio.sleep(random.uniform(1, 5))等函数。这将使您的模式看起来不那么机械。

真实的指纹

使用多账户浏览器来伪装您的数字指纹，使其看起来像真实设备的指纹。诸如亚马逊的平台会收集各种指纹参数来识别机器人。为了避免被检测，确保您的指纹参数及其组合始终看起来合理。

此外，为了降低被检测的风险，您应轮换IP地址。高质量的代理在使用多账户浏览器时起着至关重要的作用。仅选择信誉良好的提供商，以获取最佳价格。代理的选择应基于抓取策略，并考虑其地域，因为亚马逊为不同地区提供不同的内容。确保您的代理具有低的垃圾邮件/滥用/欺诈评分。您还应考虑代理的速度。例如，家庭代理可能具有高延迟，这会影响抓取速度。

解决CAPTCHA的服务

除了多账户浏览器、高质量代理和经过深思熟虑模拟人类行为的脚本外，自动CAPTCHA解决器也可以派上用场。为此，您可以使用OSS解决方案，手动解决服务如2captcha和anti-captcha，或自动解决器如Capmonster。

为什么使用多账户浏览器进行网络抓取？

许多网站、平台和服务利用关于用户设备、浏览器和连接的信息来识别人。这些数据集被称为数字指纹。基于指纹信息，网站安全系统确定用户是否可疑。

所分析的参数集可以根据网站的安全系统而有所不同。为了连接并正确显示内容，浏览器提供超过50个与您的设备相关的参数，每个参数都可能是数字指纹的一部分。

此外，浏览器还可以被指派创建一个简单的2D或3D图像，根据设备执行该任务的方式，可以生成一个哈希值。该哈希值将使该设备与其他网站访客区分开。通过Canvas和WebGL，这就是硬件指纹识别的工作原理。

对某些特征的信息的轻微更改，浏览器传递给网站安全系统的信息，将不会阻止将熟悉的用户识别出来。您可以更改浏览器、时区或屏幕分辨率，但即使同时进行所有这些操作，识别的可能性仍然很高。

指纹识别以及其他防抓取技术如速率限制、地理定位、WAF、挑战和CAPTCHA的存在是为了保护网站免受自动化交互。具有高质量指纹伪装系统的多账户浏览器将帮助绕过网站安全系统。因此，网络抓取的有效性将提高，因为数据收集变得更快、更可靠。

多账户浏览器如何工作？

多账户浏览器在绕过网站安全系统中的作用在于伪装数字指纹。使用多账户浏览器，您可以创建多个浏览器配置文件，这些配置文件是彼此独立的浏览器的虚拟副本，并具有自己的特征和设置：cookies、浏览历史、扩展、代理、指纹参数。每个多账户浏览器配置文件在网站安全系统看来都是一个单独的用户。

如何使用多账户浏览器进行抓取

多账户浏览器通常通过Chrome Dev Tools协议提供自动化功能。它允许您通过软件接口自动化必要的抓取操作。为了方便工作，您可以使用OSS库，如Puppeteer、Playwright、Selenium等。

在Octo Browser中，所有必要的文档都可以在此处找到，而且详细的API说明可以在此处找到。

多账户浏览器会降低抓取成本吗？

多账户浏览器既可以降低也可以增加抓取成本，具体取决于资源和工作条件。

• 通过最小化阻挡风险和自动化手动任务，可以降低成本。多账户浏览器为此提供了配置文件管理器和配置文件数据自动同步功能。

• 成本可能主要通过购买所需数量配置文件的许可证而增加。

在其他条件相等的情况下，从长远来看，使用多账户浏览器有助于节省预算并降低抓取成本。

网络抓取的自动化努力值得吗？

网络抓取是一个强大的自动数据收集和分析工具。公司使用它来收集必要的信息并做出明智的电子商务决策。

使用Python有效地在亚马逊上搜索产品、评论、描述和价格。编写必要的代码可能需要一些时间和精力，但结果将超出所有预期。为了避免引起安全系统的注意，模拟自然的用户行为，使用第三方IP地址，定期更改数字指纹。专用工具如多账户浏览器和代理服务器将使您能够轮换浏览器指纹和IP地址，以克服限制并提高抓取速度。

常见问题解答

使用网络抓取可以提取哪些类型的数据？

网络抓取可以提取文本、图像、表格、元数据等。

抓取会被检测到吗？

是的，数据解析可能会被反机器人系统检测到，这些系统可能会检查您的IP地址、您的数字指纹参数是否匹配以及行为模式。如果检查失败，来自您的IP地址和设备的访问将被阻止。

如何在网络抓取期间避免被屏蔽？

使用代理服务器，模拟真实用户的行为，并在请求之间添加延迟。

网络抓取需要考虑哪些法律方面？

网络抓取的法律方面受数据保护法律和知识产权的约束。抓取公共可用网站上的数据在您的行为不违反其服务条款的情况下不被视为非法。遵循平台规则并始终考虑网络抓取的法律方面。

亚马逊允许抓取吗？

在您的行为不违反其服务条款的情况下，抓取亚马逊上的公共可用数据不被视为非法。

在网络抓取过程中可能发生的主要错误是什么，如何避免这些错误？

典型错误包括HTML解析问题、跟踪网站结构变化以及超过请求速率限制。为了避免这些错误，请定期检查和更新您的代码。

如何最小化抓取亚马逊时出现CAPTCHA的情况？

使用可靠的代理服务器并轮换您的IP地址。通过在请求和行为之间添加随机间隔来降低抓取速度。确保您的数字指纹参数与真实设备相匹配，并且不会引起反机器人系统的怀疑。