Форум Общение профессионалов Деловые вопросы

Парсинг яндекс и гугл без ограничений

ADpro
На сайте с 20.02.2008
Offline
118
ADpro
1415

Здравствуйте!

Нашел вариант как парсить напрямую яндекс и гугл "поиск" - без ограничений, блокировок, капч.


Тестировал  парсинг поиска в 6 потоков - яндекс 150К запросов без проблем,  и Гугл 100К

Ни разу не получил бан или капчу.  Т.е. это своего рода бесконечный XML.

Яндекс отдает запросы от 500 до 1000 мс

Гугл отдает запросы от 1000  до 2000 мс (наверно потому что сервера гугл дальше находятся)


Так же паралельно можно парсить найденные сайты.

Вот не знаю как реализовать данную возможность. 

Какие варианты использования предложите? Может у кого то есть потребность в особом инструменте которого ни у кого нет?


Буду благодарен за любые советы! 
























V
На сайте с 17.11.2010
Offline
256
Vladimirus
#1
Да это никому не нужно. Можете выкинуть.
arbitrate
На сайте с 04.02.2018
Offline
59
arbitrate
#2
ADpro :
Буду благодарен за любые советы! 

Полезная штука, чтобы штамповать отчеты по SEO-рейтингу сайтов в органической выдаче. Пример такого отчета на скриншоте. Кратко опишу принцип построения таких отчетов на примере Яндекс-ТОП-10.

1.Берем ядро интересующих нас РАЗНЫХ запросов в нише (примерно от 100 до 1000 без дублей)

2.Парсим 1 страницу (ТОП-10) выдачу Яндекса в интересующем нас регионе по каждому запросу с логированием текущей позиции каждого сайта и с начислением ему «баллов» по формуле:

rate = СУММА БАЛЛОВ (Частотность запроса * текущую позицию в выдаче / 10 (для ТОП-10))

Такой отчет показывает реальный рейтинг сайтов в поиске по ядру запросов в интересующем регионе.

jpg seorate-yandex-top10.jpg
Идентификация – идеальная технология определения контактов посетителей вашего сайта https://clck.ru/bvvEM
Анализ конкурентов в поиске? Ядро и прогноз посещений Прыгают позиции от топ10

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий