Парсинг яндекс и гугл без ограничений

ADpro
На сайте с 20.02.2008
Offline
99
236

Здравствуйте!

Нашел вариант как парсить напрямую яндекс и гугл "поиск" - без ограничений, блокировок, капч.


Тестировал  парсинг поиска в 6 потоков - яндекс 150К запросов без проблем,  и Гугл 100К

Ни разу не получил бан или капчу.  Т.е. это своего рода бесконечный XML.

Яндекс отдает запросы от 500 до 1000 мс

Гугл отдает запросы от 1000  до 2000 мс (наверно потому что сервера гугл дальше находятся)


Так же паралельно можно парсить найденные сайты.

Вот не знаю как реализовать данную возможность. 

Какие варианты использования предложите? Может у кого то есть потребность в особом инструменте которого ни у кого нет?


Буду благодарен за любые советы! 
























V
На сайте с 17.11.2010
Offline
148
#1
Да это никому не нужно. Можете выкинуть.
arbitrate
На сайте с 04.02.2018
Offline
35
#2
ADpro :
Буду благодарен за любые советы! 

Полезная штука, чтобы штамповать отчеты по SEO-рейтингу сайтов в органической выдаче. Пример такого отчета на скриншоте. Кратко опишу принцип построения таких отчетов на примере Яндекс-ТОП-10.

1.Берем ядро интересующих нас РАЗНЫХ запросов в нише (примерно от 100 до 1000 без дублей)

2.Парсим 1 страницу (ТОП-10) выдачу Яндекса в интересующем нас регионе по каждому запросу с логированием текущей позиции каждого сайта и с начислением ему «баллов» по формуле:

rate = СУММА БАЛЛОВ (Частотность запроса * текущую позицию в выдаче / 10 (для ТОП-10))

Такой отчет показывает реальный рейтинг сайтов в поиске по ядру запросов в интересующем регионе.

jpg seorate-yandex-top10.jpg
★★★ Создание мобильных приложений для приземления контекстной рекламы. Обращайтесь в чат по ссылке: https://clck.ru/SJAei ★★★

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий