Как парсить LinkedIn — пошаговый гайд

Как отпечаток браузера выдает нас веб-сайтам
Palina Zabela
Content Manager, Octo Browser
В LinkedIn зарегистрировано более 1,1 миллиарда пользователей, и 134,5 миллиона из них заходят в него каждый день. Рекрутеры могут найти здесь потенциальных кандидатов на вакансии, а sales-менеджеры — лидов для продаж. Но вручную искать контакты долго и неэффективно. Намного проще делать это автоматически через скрейперы. Что такое парсинг LinkedIn? Законно ли это? Какие инструменты используют для автоматизации и защиты от блокировок? И как самому написать код для парсинга? На все вопросы отвечаем в статье.

Содержание

Что такое веб-скрейпинг в LinkedIn

Скрейпинг — метод быстрого сбора данных в интернете через скрипты. Он играет важную роль в работе с LinkedIn, так как помогает:
  • искать вакансии;
  • искать кандидатов;
  • анализировать конкурентов;
  • генерировать лидов.

LinkedIn разрешает скрейпить только открытые аккаунты. Кроме того, он устанавливает лимиты по количеству запросов через API и может заблокировать учетные записи, которые обращаются к серверу слишком часто или проявляют другую подозрительную активность. Поэтому мы должны быть осторожными во время скрейпинга в этой соцсети: не собирать конфиденциальные данные и не перегружать серверы сайта.

Как автоматизировать парсинг в LinkedIn

Чтобы ускорить сбор данных в LinkedIn, можно использовать:
  • Платные сервисы no-code. Подходят для тех, кто не разбирается в программировании. Подробнее о популярных инструментах no-code для скрейпинга LinkedIn мы расскажем в следующем разделе.
  • Фреймворки. Например, через Scrapy, Selenium, Apify SDK можно собирать, обрабатывать и сохранять данные в нужном формате.
  • Боты. Сканируют LinkedIn и систематизируют собранные сведения. Вы можете найти готовые решения для скрейпинга на Javascript, Python, Go и PHP или написать их сами.
  • Библиотеки для автоматизации действий в браузере. Через Beautiful Soup, Requests, lxml, Cheerio, Puppeteer и другие библиотеки можно автоматизировать отдельные этапы веб-скрейпинга LinkedIn, в том числе работу в антидетект-браузере.

5 лучших сервисов для парсинга LinkedIn

Среди популярных сервисов no-code для скрейпинга мы выбрали те, что лучше всего подходят для сбора данных в LinkedIn.

Evaboot

Evaboot — это расширение Chrome для веб-скрейпинга через LinkedIn Sales Navigator. Оно собирает в CSV-файл следующие данные:
  • имена;
  • должности и время, которое человек на них провел;
  • URL личных аккаунтов и страниц компаний;
  • email;
  • названия фирм;
  • их сайты;
  • локации офисов;
  • индустрии;
  • количество сотрудников.

Кроме того, Evaboot проверяет валидность email, очищает данные (например, удаляет смайлики) и определяет, соответствуют ли найденные учетные записи LinkedIn установленным фильтрам поиска.


Evaboot стоит от 9 долларов в месяц. За эту цену вы получите 100 кредитов и сможете экспортировать 50 email ежемесячно. Очищать данные и фильтровать аккаунты LinkedIn могут пользователи, которые покупают от 1500 кредитов за 49 $.

Phantombuster

Phantombuster — это сервис на основе искусственного интеллекта, который собирает данные на таких платформах, как LinkedIn, Twitter, Instagram, Slack, Facebook для лидогенерации. Он может:
  • скрейпить личные аккаунты и страницы фирм;
  • фильтровать найденные аккаунты и вакансии;
  • синхронизировать данные с CRM через интеграцию на HubSpot;
  • экспортировать результаты поиска LinkedIn;
  • следить за обновлениями потенциальных лидов, например сменой работы и взаимодействиями с другими учетными записями;
  • автоматически рассылать персонализированные сообщения.

Phantombuster дает бесплатную пробную версию на 2 часа и 1000 запросов к ИИ. Стартовый тариф стоит 69 евро в месяц за 10 часов использования инструмента и 10 тысяч кредитов. Платные подписки дают доступ к комьюнити, безлимитному экспорту данных из LinkedIn, приоритетной техподдержке.

Waalaxy

Waalaxy — это сервис для автоматического скрейпинга и поиска лидов в LinkedIn на базе искусственного интеллекта. Он умеет:
  • собирать сведения о потенциальных лидах, в том числе их рабочие почты;
  • выгружать информацию в CRM;
  • интегрироваться с Recruiter и Sales Navigator;
  • автоматически отправлять приглашения в LinkedIn;
  • писать сообщения в соцсети и на email;
  • управлять командой.

Бесплатный триал Waalaxy дает 25 кредитов на поиск email и 80 — на отправку приглашений в LinkedIn. Командная работа и синхронизация с CRM доступны на платных подписках от 19 евро в месяц.

Apollo

Apollo — это расширение для браузера Chrome, через которое можно скрейпить LinkedIn. Сервис использует нейросети, чтобы автоматизировать лидогенерацию и увеличить ее эффективность. Инструмент может:
  • собирать и обогащать данные из LinkedIn, Gmail, Google Calendar и корпоративных сайтов;
  • фильтровать полученные сведения;
  • выгружать данные в CRM;
  • писать сообщения и отвечать на них;
  • оптимизировать график онлайн-встреч, готовиться к ним и составлять фоллоу-ап;
  • давать советы для повышения эффективности продаж.

Пробная версия Apollo дает 100 кредитов в месяц. Пользователи базового и более высоких тарифов могут обогащать данные, ставить продвинутые фильтры LinkedIn и получать приоритетную техподдержку. Подписка стоит от 59 $ за 5000 запросов.

La Growth Machine

La Growth Machine — это платформа для автоматизации продаж через LinkedIn, Twitter и электронную почту. Основные функции включают:
  • поиск аккаунтов, номеров телефонов и email;
  • экспорт лидов из LinkedIn Sales Navigator в CSV-файл;
  • отправку писем и сообщений в LinkedIn,Twitter;
  • определение степени заинтересованности лида;
  • интеграцию с HubSpot и другими CRM;
  • аналитику эффективности кампаний;
  • командную работу.

Вы можете пользоваться La Growth Machine бесплатно первые две недели. Затем подписка будет стоить от 60 евро в месяц. Чтобы собирать электронные почты и делать API-запросы к LinkedIn, нужно заплатить 120 евро, а тариф с синхронизацией с CRM стоит 120 евро.

Как обойти защиту от скрейпинга в LinkedIn

Чтобы защитить своих пользователей от спама и мошенников, LinkedIn устанавливает ограничения на количество приглашений и сообщений, которые может отправить один аккаунт. К тому же антифрод блокирует учетные записи, которые слишком часто обращаются к серверу. Тем не менее вы можете обойти защиту LinkedIn, следуя рекомендациям экспертов.

Создайте несколько виртуальных профилей

Чтобы снизить риски блокировки, можно скрейпить LinkedIn не с одного, а с нескольких учетных записей. Так вы распределите нагрузку, и каждая учетная запись будет вызывать меньше подозрений. Даже если соцсеть забанит одну из них, у вас останется доступ к остальным.

По правилам LinkedIn у одного человека должен быть только один аккаунт. Поэтому регистрировать учетные записи нужно на разных людей. Чтобы соцсеть не связала страницы между собой, используйте антидетект-браузер, например Octo. В нем можно создать несколько профилей с разными цифровыми отпечатками. Каждый из них будет выглядеть для LinkedIn как отдельное устройство, потому что антидетект подменяет фингерпринты на уровне браузерного ядра. Так вы можете значительно снизить риски бана за мультиаккаунтинг.

Подключите прокси

Хотя антидетект-браузеры подменяют местоположение, часовой пояс и языки, LinkedIn все еще может связать учетные записи по IP. Поэтому к каждому профилю нужно подключить прокси с разными IP. Купить резидентные прокси от проверенных провайдеров и подключить их к профилям можно прямо в клиенте в Octo Browser.

Прогрейте профили

Чтобы только что созданные профили антидетекта не вызывали подозрений у антифрода LinkedIn, их нужно прогреть. Для этого нужно собрать куки с сайтов, популярных в выбранном регионе. В Octo Browser есть куки-робот для автоматизации этого процесса. Просто отправьте ему список ссылок на популярные онлайн-ресурсы, и он зайдет на них и, не выполняя дополнительных действий, соберет c них куки.

Зарегистрируйте несколько аккаунтов LinkedIn

После прогрева профиля можно переходить к регистрации аккаунтов LinkedIn. Для этого вам понадобятся уникальные адреса электронной почты и документы для подтверждения личности. О том, как создать много аккаунтов Gmail, вы можете узнать из нашей статьи.

Заполните учетные записи

Чем больше информации будет в учетной записи LinkedIn, тем больше доверия она вызовет. Поэтому желательно заполнить все поля:
  • Аватар. Поставьте профессиональный портрет с нейтральным фоном.
  • Заголовок. Кратко напишите о том, чей это аккаунт и чем человек занимается.
  • Резюме. Создайте pdf-файл с подробным описанием опыта и основных навыков.
  • Опыт и образование. Заполните эти поля данными из резюме.
  • Рекомендации. Получите отзывы от знакомых. Можно написать шаблон самому и приложить его к запросу на рекомендацию в LinkedIn, чтобы человеку не нужно было прикладывать много усилий.

Отправляйте запросы с разумной частотой

Слишком частые обращения к серверу могут сработать как триггер для антифрод-системы LinkedIn. Защищаясь от ботов, DDoS-атак и скрейперов, соцсеть, скорее всего, автоматически заблокирует аккаунт и IP. Чтобы этого не произошло, лучше отправлять поисковые запросы со скоростью обычного пользователя.

Подключите LinkedIn Premium

Эксперты по продажам в LinkedIn говорят, что соцсеть больше доверяет пользователям с платной подпиской. Премиум-тарифы позволяют отправлять больше приглашений и сообщений, а также дают дополнительные возможности, например интеграцию с CRM, продвинутые фильтры. Платные учетные записи попадают под блокировки реже, чем обычные. Подробнее о том, как получить LinkedIn Premium, читайте в нашей статье.

Как скрейпить публичные аккаунты LinkedIn

Как мы уже писали, вы можете использовать различные инструменты для скрейпинга LinkedIn. Поэтому мы составили обобщенный гайд для сбора данных с открытых страниц.

Шаг 1. Определите свои цели. Зайдите в любой публичный аккаунт LinkedIn и проанализируйте, какая информация там есть. Составьте список категорий данных, которые вы хотите извлечь. Например, это может быть имя, название фирмы, должность.

Шаг 2. Проведите подготовительное исследование вручную. Зайдите в открытый аккаунт LinkedIn, щелкните правой кнопкой мыши и выберите Inspect или Inspect Element, чтобы открыть инструменты разработчика. Во вкладке Elements найдите нужные блоки с информацией, изучите их пути (XPath), а также атрибуты, теги и селекторы. Обратите внимание, что названия некоторых селекторов (например, класса элемента) на многих популярных сайтах могут динамически меняться. Поэтому мы не рекомендуем использовать такие селекторы в процессе написания автоматизации.

Шаг 3. Напишите код. Используйте библиотеки для управления браузером, например Selenium, Puppeteer, Playwright. Следуйте алгоритму:
  1. Запустите профиль антидетект-браузера через API с открытым debug_port.
  2. Подключитесь к запущенному профилю через методы библиотеки автоматизации.
  3. Откройте публичный профиль, с которого хотите собрать данные, используя методы библиотеки автоматизации.
  4. Обратитесь к селекторам элементов и достаньте из них нужную информацию. Проанализируйте ее.
  5. Структурируйте информацию и выберите метод хранения (таблицы, базы данных, JSON-файлы).
Шаг 4. Протестируйте и запустите скрипт. Проверьте частоту запросов и журнал ошибок. Если все в порядке, запускайте программу на полную мощность.

Как скрейпить страницы компаний в LinkedIn

Все страницы компаний в LinkedIn публичные. Поэтому собирая сведения о них, вы не рискуете нарушить конфиденциальность чувствительных данных.

Шаг 1. Проанализируйте структуру страниц. В профилях фирм в LinkedIn есть такие разделы, как About, Posts, Jobs, Life, People. Сведения об индустрии, размере фирмы, адресе главного офиса, специальностях можно найти в первой вкладке.

Шаг 2. Исследуйте, где хранятся данные. Зайдите на страницу компании в LinkedIn, кликните правой кнопкой мыши на элементе с необходимыми данными и из выпадающего меню выберите Inspect или Inspect Element. Если вы не увидите всех нужных вам данных, изучите HTML-структуру отдельных разделов. Найдите теги и атрибуты с необходимыми данными.

Шаг 3. Напишите скрипт. Логика алгоритма будет такая же, как при парсинге публичных аккаунтов:
  1. Запустите профиль антидетекта по API с открытым debug_port.
  2. Подключитесь к нему с помощью методов библиотеки автоматизации.
  3. Через методы библиотеки автоматизации откройте страницу компании, данные которой хотите получить.
  4. Обратитесь к селекторам элементов, которые содержат нужные вам данные, и извлеките их. Проанализируйте полученную информацию.
  5. Структурируйте информацию и выберите способ хранения (таблицы, базы данных, JSON-файлы).

Шаг 4. Проверьте работу кода и запустите программу. Проверьте частоту запросов и журнал ошибок. Если скрипт работает корректно, можно запускать его на полную мощность.

Вывод

Скрейпинг LinkedIn — это автоматизированный сбор данных из соцсети. Для парсинга используют скрипты, а также дополнительные инструменты для защиты от блокировок: прокси для смены IP, антидетект-браузер для подмены фингерпринтов, боты для обхода CAPTCHA. В результате вы получаете структурированные сведения о людях, вакансиях и фирмах и можете быстрее и эффективнее искать работу, кандидатов на должности и контакты лидов для продаж.

FAQ

Что такое LinkedIn-скрейпер?
Скрейпер LinkedIn — это программа для сбора данных в социальной сети, которая ускоряет процесс и структурирует полученные сведения. Это может быть бот, скрипт или готовый сервис, который адаптирован для новичков без знаний программирования.
Законно ли скрейпить LinkedIn?
Да, вы можете скрейпить публичные страницы LinkedIn, например открытые личные аккаунты, профили компаний и вакансии. Но чтобы скрейпинг был этичным, нужно сохранять конфиденциальность персональных данных и не перегружать серверы LinkedIn слишком частыми запросами.

Следите за последними новостями Octo Browser
Нажимая кнопку, вы соглашаетесь с нашей политикой конфиденциальности.

Похожие статьи
Присоединяйтесь к Octo Browser сейчас
Вы можете обращаться за помощью к нашим специалистам службы поддержки в чате в любое время.