如何抓取LinkedIn数据 —— Octo Browser

什么是LinkedIn Scraping

简而言之，Scraping是一种使用脚本快速收集在线数据的方法。它在与LinkedIn合作时发挥着重要作用，因为它可以帮助：

• 搜索职位空缺；

• 搜索候选人；

• 分析竞争对手；

• 生成潜在客户。

LinkedIn只允许Scraping公共账户。它还设置了API请求限制，并可能会阻止过于频繁访问服务器或显示其他可疑活动的账户。因此，在该平台上进行Scraping时必须谨慎：不要收集机密数据，不要超载网站服务器。

如何自动化LinkedIn Scraping

要加速LinkedIn数据Scraping，您可以使用：

• 付费无代码服务，适合不懂编码的人。我们将在下面介绍一些流行的无代码LinkedIn Scraping工具。

• 框架。像Scrapy、Selenium、Apify SDK这样的工具可以帮助您收集、处理和保存所需格式的数据。

• 机器人。它们可以Scraping LinkedIn并结构化收集到的信息。您可以找到用JavaScript、Python、Go和PHP编写的现成Scraping解决方案，或者自己创建。

• 浏览器自动化框架和库。像Beautiful Soup、Requests、lxml、Cheerio、Puppeteer等库可以自动化LinkedIn Scraping的特定阶段，包括利用反检测浏览器用于多账户操作进行LinkedIn Scraping。

5个最佳LinkedIn Scraping服务

以下是一些用于收集LinkedIn数据的热门无代码Scraping工具：

Evaboot

Evaboot是一款通过LinkedIn Sales Navigator进行网页Scraping的Chrome扩展程序。它将以下数据收集到CSV文件中：

• 姓名；

• 职位名称及任职时长；

• 个人和公司页面URL；

• 电子邮件；

• 公司名称；

• 网站；

• 办公地点；

• 行业；

• 员工人数。

Evaboot还检查电子邮件的有效性，清理数据（例如，删除表情符号），并检查找到的LinkedIn个人资料是否符合设置的搜索过滤器。

Evaboot的定价从$9/月起。以这个价格，您可以获得100个积分并每月导出50封电子邮件。数据清理和LinkedIn账户过滤可通过1,500个积分以$49获得。

Phantombuster

Phantombuster是一种基于AI的服务，可从LinkedIn、X（Twitter）、Instagram、Slack和Facebook等平台Scraping数据，用于生成潜在客户。它可以：

• Scraping个人和公司资料；

• 过滤找到的账户和职位列表；

• 通过HubSpot集成与CRM同步数据；

• 导出LinkedIn搜索结果；

• 监控潜在客户的更新信息，如职位变动和与其他账户的互动；

• 自动发送个性化消息。

Phantombuster提供2小时的免费试用和1,000个AI请求。Starter subscription价格为€69/月，使用时间为10小时和10,000个积分。付费订阅包括社区访问、无限的LinkedIn数据导出和优先支持。

Waalaxy

Waalaxy是一种基于AI的服务，用于在LinkedIn上自动Scraping和生成潜在客户。它可以：

• 收集潜在客户数据，包括工作电子邮件；

• 将数据导出到CRM；

• 与Recruiter和Sales Navigator集成；

• 自动发送LinkedIn连接请求；

• 通过LinkedIn和电子邮件发送消息；

• 管理团队。

Waalaxy的免费试用提供25个电子邮件搜索积分和80个LinkedIn邀请积分。团队合作和CRM同步可通过起价为€19/月的付费订阅获得。

Apollo

Apollo是一款用于LinkedIn Scraping的Chrome浏览器扩展。它使用神经网络自动化和优化潜在客户生成。Apollo.io可以：

• 收集和丰富来自LinkedIn、Gmail、Google日历以及企业网站的数据；

• 过滤所收集的信息；

• 将数据导出到CRM；

• 发送和回复消息；

• 优化会议安排，为会议准备并创建跟进措施；

• 提供销售表现建议。

Apollo.io的试用版每月可提供100个积分。基本和高级用户可以丰富数据、应用高级LinkedIn过滤器，并获得优先支持。订阅起价为$59，支持5,000次请求。

La Growth Machine

La Growth Machine是一个用于在LinkedIn、X（Twitter）和通过电子邮件自动化销售的平台。其主要功能包括：

• 查找账户、电话号码和电子邮件；

• 将LinkedIn Sales Navigator中的潜在客户导出到CSV；

• 在LinkedIn和X（Twitter）上发送消息；

• 评估潜在客户的兴趣；

• 与HubSpot及其他CRM集成；

• 营销活动表现分析；

• 团队合作。

La Growth Machine的前两周是免费的。此后，订阅价格从€60/月起。为了收集电子邮件和向LinkedIn发送API请求，您需要支付€120。CRM集成还需要€120的订阅。

如何绕过LinkedIn的反Scraping保护

为了保护用户免受垃圾邮件和欺诈行为的侵害，LinkedIn限制单个账户发送的邀请和消息数量。此外，反欺诈系统会阻止过于频繁访问服务器的账户。然而，您可以通过以下专家建议绕过LinkedIn的保护措施：

创建多个虚拟档案

为了降低被封锁的风险，您可以不从单个，而是从多个账户进行LinkedIn Scraping。这样，您可以分散负载，每个账户都会引起更少的怀疑。即使其中一个被网络封禁，您也仍然可以访问其他账户。

根据LinkedIn的规定，一个人只能拥有一个账户。因此，这些账户应该以不同的身份注册。为了防止LinkedIn链接这些页面，可以使用像Octo这样的反检测浏览器进行多账户操作。Octo Browser允许您创建多个具有不同数字指纹的档案。每一个在LinkedIn上都会被视为一个独立的设备，因为反检测浏览器会在浏览器内核级别欺骗指纹。这大大降低了因多账户操作而被封禁的风险。

连接代理

尽管反检测浏览器伪装了位置、时区和语言，LinkedIn仍然可以通过IP地址关联账户。因此，每个档案都应连接到一个具有唯一IP地址的代理。您可以从经过验证的供应商处购买住宅代理，并直接在Octo Browser中将其连接到档案。

准备您的档案

为了防止新创建的反检测浏览器档案引起LinkedIn反欺诈系统的警觉，需要适当准备它们。为此，从所选地区的热门网站中收集cookie。Octo Browser提供其内建的Cookie机器人来自动执行此过程。只需为它提供一个链接列表，指向热门在线资源，它会访问这些链接并收集cookie，而不会执行其他操作。

注册多个LinkedIn账户

在准备好档案后，您可以注册LinkedIn账户。为此，您需要唯一的电子邮件地址和身份验证文件。阅读我们的文章了解如何创建多个Gmail账户。

完善账户

LinkedIn账户的信息越多，看起来就越可信。理想情况下，请填写所有字段：

• 头像。上传一张背景中性的专业肖像。

• 标题。简要描述这是哪个账户以及此人从事什么工作。

• 简历。创建一个PDF文件，详细描述经验和关键技能。

• 经验和教育。使用简历数据来填写这些字段。

• 推荐。获取熟人的认可。您可以自己编写模板并将其附加到LinkedIn推荐请求上，这样对方就不必花费太多精力。

以合理的速度发送请求

过于频繁的服务器请求可能会触发LinkedIn的反欺诈系统。为了保护自己免受机器人、DDoS攻击和Scraping行为的影响，平台可能会自动封锁账户和相关的IP地址。为了防止这种情况，最好以普通用户的速度发送请求。

订阅LinkedIn Premium

LinkedIn的销售专家表示，平台对拥有付费订阅的用户更有信任。Premium订阅允许您发送更多邀请和消息，并提供CRM集成和高级过滤等附加功能。付费账户被封禁的可能性比普通账户低。了解更多关于获取LinkedIn Premium的信息，请阅读我们的文章。

如何Scraping公共LinkedIn账户

正如我们之前提到的，您可以使用各种工具进行LinkedIn Scraping。因此，我们编制了一些从公共页面收集数据的一般指导原则。

步骤1：定义您的目标。访问任何公共LinkedIn账户并分析可用的信息。列出您想要提取的数据类别。例如，可以是姓名、公司名称和职位。

步骤2：进行手动初步调查。访问一个公共的LinkedIn账户，右键点击选择“检查”或“检查元素”以打开开发者工具。在“元素”选项卡中，找到所需的信息块，研究它们的路径（XPath），以及属性、标签和选择器。注意，许多热门网站上的某些选择器（如元素类名）可能会动态变化。因此，我们不建议在编写自动化脚本时使用此类选择器。

步骤3：编写代码。使用像Selenium、Puppeteer或Playwright这样的浏览器自动化库。遵循以下算法：

1. 通过API启动一个反检测浏览器档案，并打开debug_port。

2. 使用自动化库的方法连接到正在运行的档案。

3. 使用自动化库的方法打开要收集数据的公共档案。

4. 访问元素选择器并提取所需信息。进行分析。

5. 结构化信息并选择存储方式（电子表格、数据库、JSON文件）。

步骤4：测试并运行脚本。一定要检查请求频率和错误日志。如果一切正常，全速运行脚本。

如何Scraping LinkedIn公司页面

LinkedIn上的所有公司页面都是公共的。因此，从中收集信息并不涉及违反敏感数据的保密性。

步骤1：分析页面结构。LinkedIn上的公司档案包括诸如“关于”、“职位”、“生活”、“员工”等部分。有关行业、公司规模、总部地址等信息可以在第一个选项卡中找到。

步骤2：找出数据存储位置。访问该公司的LinkedIn页面，右键点击包含所需数据的元素，然后从下拉菜单中选择“检查”或“检查元素”。如果您没有看到所需的所有数据，请探索各个部分的HTML结构。寻找包含所需数据的标签和属性。

步骤3：编写脚本。其算法逻辑将与Scraping公共档案时一样：

1. 通过API启动一个反检测浏览器档案，并打开debug_port。

2. 使用自动化框架/库方法连接到它。

3. 使用自动化框架/库的方法打开要Scraping的公司页面。

4. 访问包含所需数据的元素选择器并提取数据。分析获取的数据。

5. 结构化信息并选择存储格式（电子表格、数据库、JSON文件）。

步骤4：检查脚本的性能并运行。一定要检查请求频率和错误日志。如果脚本正常工作，可以全速运行它。

结论

LinkedIn Scraping是从平台自动收集数据的过程。通常通过脚本执行Scraping，并再加上阻止工具：代理用于改变IP地址，反检测浏览器用于欺骗指纹、机器人绕过CAPTCHA。结果，您可以获得有关人员、空缺职位和公司的结构化数据，并更快、更高效地搜索工作、候选人和销售线索。

常见问题

什么是LinkedIn Scraper？

LinkedIn Scraper是一种用于从社交媒体平台收集数据的软件，它加速了这一过程并结构化接收到的信息。它可以是一个机器人、脚本或为没有编码知识的初学者适应的现成服务。

Scraping LinkedIn是否合法？

是的，您可以Scraping公共LinkedIn页面，例如开放的个人账户、公司档案和职位列表。然而，为了使Scraping合乎道德，重要的是要保持个人数据的机密性，并避免因请求过于频繁而超载LinkedIn的服务器。