Cách thu thập dữ liệu LinkedIn — Octo Browser

LinkedIn Scraping là gì

Tóm lại, scraping là một phương pháp thu thập dữ liệu trực tuyến nhanh chóng bằng cách sử dụng scripts. Nó đóng vai trò quan trọng trong việc làm việc với LinkedIn vì nó giúp:

• tìm kiếm cơ hội việc làm;

• tìm kiếm ứng viên;

• phân tích đối thủ cạnh tranh;

• tạo ra các đầu mối liên hệ.

LinkedIn chỉ cho phép scraping các tài khoản công khai. Nó cũng đặt giới hạn yêu cầu API và có thể chặn tài khoản truy cập máy chủ quá thường xuyên hoặc có hoạt động đáng ngờ khác. Đó là lý do tại sao cần phải cẩn thận khi thực hiện scraping trên nền tảng này: không thu thập dữ liệu bí mật và không quá tải máy chủ của website.

Cách tự động hóa LinkedIn Scraping

Để tăng tốc quá trình scraping dữ liệu LinkedIn, bạn có thể sử dụng:

• Các dịch vụ không cần mã hóa trả phí, phù hợp với những người không biết mã hóa. Chúng tôi sẽ trình bày các công cụ scraping LinkedIn phổ biến không cần mã hóa dưới đây.

• Các framework. Các công cụ như Scrapy, Selenium, Apify SDK cho phép bạn thu thập, xử lý và lưu dữ liệu theo định dạng mong muốn.

• Bots. Chúng có thể scraping LinkedIn và cấu trúc thông tin thu thập được. Bạn có thể tìm thấy các giải pháp scraping sẵn có viết bằng JavaScript, Python, Go và PHP, hoặc có thể tạo riêng của mình.

• Các framework và thư viện tự động hóa trình duyệt. Các thư viện như Beautiful Soup, Requests, lxml, Cheerio, Puppeteer và các công cụ khác có thể tự động hóa các giai đoạn cụ thể của LinkedIn scraping, bao gồm LinkedIn scraping với sự hỗ trợ của một trình duyệt chống phát hiện cho đa tài khoản.

5 Dịch vụ LinkedIn Scraping Tốt Nhất

Dưới đây là các công cụ scraping không cần mã hóa phổ biến tốt nhất để thu thập dữ liệu LinkedIn:

Evaboot

Evaboot là một tiện ích Chrome cho web scraping qua LinkedIn Sales Navigator. Nó thu thập dữ liệu sau vào file CSV:

• tên;

• chức vụ và thời gian giữ chức vụ;

• URLs trang cá nhân và công ty;

• emails;

• tên công ty;

• websites;

• địa điểm văn phòng;

• ngành nghề;

• số lượng nhân viên.

Evaboot cũng kiểm tra độ chính xác của email, làm sạch dữ liệu (ví dụ: loại bỏ emojis), và kiểm tra các hồ sơ LinkedIn tìm thấy có khớp với các bộ lọc tìm kiếm đã đặt hay không.

Giá của Evaboot bắt đầu từ $9/tháng. Với giá này, bạn có được 100 credits và có thể xuất ra 50 emails mỗi tháng. Việc làm sạch dữ liệu và lọc tài khoản LinkedIn có sẵn với 1,500 credits cho $49.

Phantombuster

Phantombuster là một dịch vụ dựa trên AI thu thập dữ liệu từ các nền tảng như LinkedIn, X (Twitter), Instagram, Slack, và Facebook để tạo ra đầu mối liên hệ. Nó có thể:

• scrape các hồ sơ cá nhân và công ty;

• lọc các tài khoản và danh sách công việc được tìm thấy;

• đồng bộ dữ liệu với CRM sử dụng tích hợp HubSpot;

• xuất kết quả tìm kiếm LinkedIn;

• giám sát cập nhật cho các đầu mối tiềm năng như thay đổi công việc và tương tác với các tài khoản khác;

• gửi tin nhắn cá nhân hóa tự động.

Phantombuster cung cấp thử nghiệm miễn phí cho 2 giờ và 1,000 yêu cầu AI. Gói đăng ký Starter là €69/tháng cho 10 giờ sử dụng và 10,000 credits. Các gói đăng ký trả phí bao gồm quyền truy cập cộng đồng, xuất dữ liệu LinkedIn không giới hạn và hỗ trợ ưu tiên.

Waalaxy

Waalaxy là một dịch vụ dựa trên AI để scraping tự động và tạo ra đầu mối liên hệ trên LinkedIn. Nó có thể:

• thu thập dữ liệu về các đầu mối tiềm năng, bao gồm emails làm việc;

• xuất dữ liệu đến CRM;

• tích hợp với Recruiter và Sales Navigator;

• gửi yêu cầu kết nối LinkedIn tự động;

• gửi tin nhắn trên LinkedIn và qua email;

• quản lý một nhóm.

Thử nghiệm miễn phí của Waalaxy cung cấp 25 credits tìm kiếm email và 80 credits mời LinkedIn. Công tác nhóm và đồng bộ hóa CRM có sẵn trên các gói đăng ký trả phí bắt đầu từ €19/tháng.

Apollo

Apollo là một tiện ích trình duyệt Chrome cho LinkedIn scraping. Nó sử dụng mạng nơ-ron để tự động hóa và tối ưu hóa việc tạo ra đầu mối liên hệ. Apollo.io có thể:

• thu thập và làm giàu dữ liệu từ LinkedIn, Gmail, Google Calendar, và các websites công ty;

• lọc thông tin thu thập được;

• xuất dữ liệu đến CRM;

• gửi và trả lời tin nhắn;

• tối ưu hóa lịch trình cuộc họp, chuẩn bị cho chúng, và tạo các theo dõi;

• cung cấp mẹo về hiệu suất bán hàng.

Phiên bản thử nghiệm của Apollo.io cung cấp cho bạn 100 credits mỗi tháng. Người dùng cơ bản và cao cấp có thể làm giàu dữ liệu, áp dụng các bộ lọc LinkedIn tiên tiến, và nhận hỗ trợ ưu tiên. Các gói đăng ký bắt đầu từ $59 cho 5,000 yêu cầu.

La Growth Machine

La Growth Machine là một nền tảng để tự động hóa bán hàng trên LinkedIn, X (Twitter), và qua email. Các tính năng chính của nó bao gồm:

• tìm kiếm tài khoản, số điện thoại, và email;

• xuất ra các đầu mối liên hệ từ LinkedIn Sales Navigator đến CSV;

• gửi tin nhắn trên LinkedIn và X (Twitter);

• đánh giá sự quan tâm của đầu mối;

• tích hợp với HubSpot và các CRM khác;

• phân tích hiệu suất chiến dịch;

• công tác nhóm.

La Growth Machine miễn phí cho hai tuần đầu tiên. Sau đó, các gói đăng ký bắt đầu từ €60/tháng. Để thu thập emails và thực hiện yêu cầu API đến LinkedIn, bạn sẽ cần trả €120. Tích hợp CRM cũng yêu cầu gói €120.

Làm thế nào để Bypass Bảo Vệ Anti-Scraping của LinkedIn

Để bảo vệ người dùng khỏi spam và gian lận, LinkedIn đặt giới hạn về số lượng lời mời và tin nhắn mà một tài khoản có thể gửi. Ngoài ra, hệ thống chống gian lận cũng chặn các tài khoản truy cập máy chủ quá thường xuyên. Tuy nhiên, bạn có thể bypass các biện pháp bảo vệ của LinkedIn bằng cách làm theo các khuyến nghị của chuyên gia dưới đây:

Tạo nhiều hồ sơ ảo

Để giảm nguy cơ bị chặn, bạn có thể scraping LinkedIn không phải từ một, mà từ nhiều tài khoản. Bằng cách này, bạn có thể phân phối tải và mỗi tài khoản sẽ ít bị nghi ngờ hơn. Ngay cả khi một trong số chúng bị chặn bởi mạng, bạn vẫn có thể truy cập vào các tài khoản khác.

Theo quy định của LinkedIn, một người chỉ được phép có một tài khoản. Do đó, các tài khoản nên được đăng ký dưới các danh tính khác nhau. Để ngăn LinkedIn liên kết các trang, hãy sử dụng một trình duyệt chống phát hiện cho đa tài khoản như Octo. Octo Browser cho phép bạn tạo nhiều hồ sơ với các vân tay kỹ thuật số khác nhau. Mỗi tài khoản sẽ xuất hiện với LinkedIn như thể từ một thiết bị riêng biệt, vì trình duyệt chống phát hiện làm giả vân tay ở cấp độ kernel trình duyệt. Điều này giảm đáng kể nguy cơ bị chặn do đa tài khoản.

Kết nối proxy

Mặc dù trình duyệt chống phát hiện giả mạo vị trí, múi giờ, và ngôn ngữ, LinkedIn vẫn có thể liên kết các tài khoản sử dụng địa chỉ IP. Vì vậy, mỗi hồ sơ nên được kết nối với một proxy có địa chỉ IP duy nhất. Bạn có thể mua các proxy dân cư từ các nhà cung cấp đã xác minh và kết nối chúng với hồ sơ trực tiếp trong Octo Browser.

Chuẩn bị các hồ sơ của bạn

Để ngăn chặn các hồ sơ trình duyệt chống phát hiện mới tạo gây ra các cảnh báo với hệ thống chống gian lận của LinkedIn, bạn cần chuẩn bị chúng đúng cách. Để làm điều này, thu thập cookies từ các trang web phổ biến trong khu vực đã chọn. Octo Browser cung cấp Cookie Robot tích hợp riêng để tự động hóa quá trình này. Đơn giản chỉ cần đưa cho nó một danh sách liên kết đến các nguồn trực tuyến phổ biến, và nó sẽ truy cập chúng và thu thập cookies mà không thực hiện các hành động khác.

Đăng ký nhiều tài khoản LinkedIn

Sau khi chuẩn bị các hồ sơ, bạn có thể đăng ký các tài khoản LinkedIn. Để làm điều này, bạn sẽ cần các địa chỉ email duy nhất và các tài liệu xác minh danh tính. Đọc bài viết của chúng tôi để tìm hiểu cách tạo nhiều tài khoản Gmail.

Hoàn thành các tài khoản

Càng nhiều thông tin một tài khoản LinkedIn chứa, nó càng xuất hiện đáng tin cậy hơn. Lý tưởng là điền vào tất cả các trường:

• Avatar. Tải lên một chân dung chuyên nghiệp với phông nền trung tính.

• Headline. Mô tả ngắn gọn về tài khoản của ai và làm gì.

• CV. Tạo file PDF với mô tả chi tiết về kinh nghiệm và kỹ năng chính.

• Kinh nghiệm và Giáo dục. Điền vào các trường này sử dụng dữ liệu từ CV.

• Khuyến nghị. Nhận sự giới thiệu từ những người quen. Bạn có thể viết một mẫu và đính kèm nó vào yêu cầu giới thiệu của LinkedIn để người đó không phải bỏ ra nhiều sức lực.

Gửi yêu cầu với tốc độ hợp lý

Yêu cầu máy chủ quá thường xuyên có thể kích hoạt hệ thống chống gian lận của LinkedIn. Để bảo vệ mình trước bots, tấn công DDoS và scrapers, nền tảng có thể tự động chặn tài khoản và địa chỉ IP liên quan. Để ngăn chặn điều này, tốt nhất là gửi yêu cầu với tốc độ của người dùng trung bình.

Đăng ký LinkedIn Premium

Các chuyên gia bán hàng của LinkedIn nói rằng nền tảng có nhiều tin tưởng đối với người dùng với gói đăng ký trả phí. Gói Premium cho phép bạn gửi nhiều lời mời và tin nhắn hơn, và cung cấp các tính năng bổ sung như tích hợp CRM và bộ lọc nâng cao. Các tài khoản trả phí ít có khả năng bị chặn hơn so với các tài khoản thông thường. Tìm hiểu thêm về việc nhận LinkedIn Premium trong bài viết của chúng tôi.

Làm thế nào để Scrape Tài Khoản Công Khai LinkedIn

Như chúng tôi đã đề cập trước đó, bạn có thể sử dụng nhiều công cụ để scrape LinkedIn. Do đó, chúng tôi đã tổng hợp các hướng dẫn chung để thu thập dữ liệu từ các trang công khai.

Bước 1: Xác định mục tiêu của bạn. Đi đến bất kỳ tài khoản công khai LinkedIn nào và phân tích thông tin nào có sẵn. Tạo danh sách các danh mục dữ liệu bạn muốn trích xuất. Ví dụ, điều này có thể là tên, tên công ty, và vị trí.

Bước 2: Thực hiện nghiên cứu sơ bộ bằng tay. Đi đến một tài khoản công khai LinkedIn, nhấp chuột phải và chọn Inspect hoặc Inspect Element để mở công cụ phát triển. Trong tab Elements, tìm khối thông tin mong muốn, nghiên cứu đường dẫn của chúng (XPath), cũng như các thuộc tính, thẻ và bộ chọn. Lưu ý rằng một số bộ chọn (như tên lớp phần tử) trên nhiều trang phổ biến có thể thay đổi động. Vì vậy, chúng tôi không khuyến khích sử dụng những bộ chọn này khi viết scripts tự động.

Bước 3: Viết mã. Sử dụng các thư viện tự động hóa trình duyệt như Selenium, Puppeteer hoặc Playwright. Làm theo thuật toán này:

1. Khởi động một hồ sơ trình duyệt chống phát hiện qua API với debug_port mở.

2. Kết nối với hồ sơ đang chạy sử dụng các phương pháp của thư viện tự động.

3. Mở hồ sơ công khai từ đó bạn muốn thu thập dữ liệu bằng cách sử dụng các phương pháp của thư viện tự động.

4. Truy cập các bộ chọn phần tử và trích xuất thông tin cần thiết. Phân tích nó.

5. Cấu trúc thông tin và chọn phương pháp lưu trữ (bảng tính, cơ sở dữ liệu, file JSON).

Bước 4: Kiểm tra và chạy script. Đảm bảo kiểm tra tần suất yêu cầu và nhật ký lỗi. Nếu mọi thứ ổn, hãy chạy script ở công suất tối đa.

Làm thế nào để Scrape Trang Công Ty LinkedIn

Tất cả các trang công ty trên LinkedIn đều công khai. Do đó, việc thu thập thông tin từ chúng không có nguy cơ vi phạm tính bảo mật của dữ liệu nhạy cảm.

Bước 1: Phân tích cấu trúc trang. Các hồ sơ công ty trên LinkedIn bao gồm các phần như About, Posts, Jobs, Life, People. Thông tin về ngành, quy mô công ty, địa chỉ trụ sở, v.v. có thể được tìm thấy trong tab đầu tiên.

Bước 2: Tìm hiểu nơi dữ liệu được lưu trữ. Đi đến trang LinkedIn của công ty, nhấp chuột phải vào phần tử với dữ liệu yêu cầu và chọn Inspect hoặc Inspect Element từ menu thả xuống. Nếu bạn không thấy tất cả dữ liệu bạn cần, hãy khám phá cấu trúc HTML của các phần riêng lẻ. Tìm kiếm các thẻ và thuộc tính chứa dữ liệu cần thiết.

Bước 3: Viết một script. Logic của thuật toán sẽ giống khi scrape các tài khoản công khai:

1. Khởi động một hồ sơ trình duyệt chống phát hiện qua API với debug_port mở.

2. Kết nối với nó sử dụng các phương pháp của framework/thư viện tự động.

3. Mở trang công ty mà bạn muốn scrape dữ liệu bằng cách sử dụng các phương pháp của thư viện sử dụng framework/thư viện tự động.

4. Truy cập các bộ chọn của các phần tử chứa dữ liệu cần thiết và trích xuất chúng. Phân tích dữ liệu thu được.

5. Cấu trúc thông tin và chọn định dạng lưu trữ (bảng tính, cơ sở dữ liệu, file JSON).

Bước 4: Kiểm tra hiệu suất của script và khởi chạy nó. Đảm bảo kiểm tra tần suất yêu cầu và nhật ký lỗi. Nếu script hoạt động đúng, bạn có thể chạy nó ở công suất tối đa.

Kết luận

LinkedIn scraping là việc thu thập dữ liệu tự động từ nền tảng. Scraping thường được thực hiện bằng scripts cùng với các công cụ bổ sung để ngăn chặn việc bị chặn: proxies để thay đổi IP, trình duyệt chống phát hiện để giả mạo dấu vân tay, và bots để bypass CAPTCHAs. Kết quả là, bạn nhận được dữ liệu có cấu trúc về người, cơ hội việc làm và công ty và có thể tìm kiếm việc làm, ứng viên và đầu mối bán hàng nhanh chóng và hiệu quả hơn.

Câu hỏi thường gặp

LinkedIn scraper là gì?

LinkedIn scraper là phần mềm để thu thập dữ liệu từ nền tảng mạng xã hội, giúp tăng tốc quá trình và cấu trúc thông tin nhận được. Nó có thể là một bot, script, hoặc dịch vụ sẵn có phù hợp cho người mới bắt đầu không có kiến thức về mã hóa.

Scraping LinkedIn có hợp pháp không?

Có, bạn có thể scrape các trang LinkedIn công khai, chẳng hạn như tài khoản cá nhân mở rộng, hồ sơ công ty và danh sách công việc. Tuy nhiên, để scraping mang tính đạo đức, điều quan trọng là duy trì tính bảo mật của dữ liệu cá nhân và tránh quá tải máy chủ LinkedIn với các yêu cầu quá thường xuyên.