Расскажу о бесплатном способе собрать базу email адресов организаций. Придется немного повозится и разобраться со специальным расширением для Chrome, но оно того стоит.
Если же вы не хотите тратить время, чтобы научиться собирать базы по нужным вам параметрам, то всегда можете скачать уже спарсенные базы организаций (у меня они бесплатные, но не всегда свежие), купить или заказать такую работу.
Способ подходит для сбора небольшого количества email адресов за раз. Парсить Яндекс Справочники или 2GIS таким методом замучаешься.
Устанавливаем расширение Web Scraper
https://chrome.google.com/webstore/detail/web-scraper-free-web-scra/jnhgnonknehpejjnehehllkliplmbmhn
Расширение работает у вас в браузере, открывает страницы по очереди, скорость примерно 1 страница в секунду. При этом пользоваться компьютером можно, главное не закрывать окно, в котором работает парсер.
Расширение полностью бесплатно, при этом можно перенести настройки из расширения в сервис webscraper.io, который предоставляет это расширение, а сервис уже за деньги может парсить быстро сотни тысяч страниц.
В статье я покажу простой пример парсинга на реальном сайте организаций.
Выбираем откуда парсить
Советую найти тематический портал или справочник в нужной нише. Сейчас на любую тему есть агрегаторы товаров и услуг, порталы, новостные сайты. Нам нужно, чтобы там был справочник компаний.
Например, меня интересуют промышленность и производство. Вот пожалуйста, ищу в поиске, таких сайтов хватает:
Для выбора важно две вещи: свежесть и простота каталога.
Свежесть понятно, чтобы были актуальные данные. Выбирайте современные сайты, на которых обновляются новости и есть признаки того, что за сайтом следят.
Под простотой имею ввиду простоту парсинга. В идеале, чтобы адреса email были на страницах в открытом виде. Хотя такие получается находить реже и реже.
Я буду рассматривать пример, где email скрыт и нужно нажимать кнопку «Показать email».
Как пользоваться парсером
Парсер может показаться сложным только в первый раз. Разобравшись, вы легко сможете парсить простые сайты. По сути надо тыкать мышкой в элементы, которые надо спарсить.
Повторю и выделю жирным, чтобы вы посмотрели официальные видеоуроки парсера. Там их всего несколько, причем основная суть в первом видео.
Моя статья — это просто отрывки, чтобы показать как работает. Если вам нравится как устроен парсер, смотрите уроки, там все подробно рассказано.
https://www.webscraper.io/tutorials
Выбираем нужный раздел
Можно, конечно, парсить и весь каталог, но как я уже написал, всё это происходит прямо в вашем браузее. Поэтому лучше разбивать работу на части.
Web Scraper запускается по кнопке F12 и находится на вкладке панели разработчика Chrome
В настройках нужно задать название задачи и стартовую страницу.
Выбираем элементы для парсинга
Дальше, после того, как вы посмотрели видеоурок (я даже не рассчитываю, что по этой статье вы научитесь, хотя если опыт парсинга есть, то справитесь и без инструкции) идем по разделу и выбираем что парсить.
Выбираем ссылки на подразделы:
Выбираем ссылки на компании:
И в конце, на карточке компании выбираем данные.
Будьте внимательны, в видеоуроках это не упоминается. Если есть блок, в котором есть скрытая информация, доступная по клику, то предварительно нужно выбрать div блок, внутри которого нужно сделать клик:
Элемент спрятанный под кликом нужно выделить с помощью селектора Element Click
Когда все настроили, запускаем парсер. В моем примере не у всех компаний есть email и еще я ошибся с названием. Но самое главное, email парсятся в тех организациях, где они есть.
Заключение
Таким расширением я легко собирал базы на несколько тысяч email. Кстати, парсить можно не только организации, а вообще любую структурированную информацию, например цены на товары у конкурентов.
В конце еще раз обращу внимание на то, что смотрите официальные видеоуроки (минус, что они на английском, но главная суть там передается на видео, а не в разговоре).
Расширение очень простое, а я когда-то перепробовал много. Оно значительно проще программ, которые надо ставить на компьютер.
0 Комментариев