Как вы парсите Google?

Может это не совсем то что вы искали, но я для таких целей использую программу Rank Tracker (можно скачать на сайте link-assistant.com). Программа позволяет анализировать позиции во всех "региональных" Гуглах (google.fr, google.de google.fi и т.д.) и других поисковиках, а так же с учетом языка и других настроек. Ну и там много дополнительных прибомбасов - отчеты, KEI и пр.

Единственое но - программа платная, но есть демо вресия которая позволяет анализировать, но не разрешает сохранать, копировать или експортировать данные, так что если 100 долларов жалко, то придётся переписывать результаты каждый раз ручками...

А так, лично я больше не встречал других подобных програм с региональными настройками.

semonitor...

Site-auditor или SeSpider туда же.

Спасибо, нужна не программа, а понимание того, как самим написать трекер.

Все программы куцие - количество запросов не больше нескольких сотен, выдача до 50 позиции...

Я всегда поражался с того, как некоторые форумчане умеют вникать в суть проблемы😂 Разве ТС писал "посоветуйте софт" или что-то в этом роде?

А по сабжу: да, выдача сепра бывает отличается от API, но не настолько кардинально, чтобы с этим кто-то пробовал бороться... (я имею ввиду, что бывает разница в несколько позиций в одном из пару десятков слов).

Как работают подобные парсеры? В технические подробности вдаваться не буду, так как я их не знаю:) но в двух словах: парсер делают на отдельном выделенном IP (порой даже на нескольких, если запросов так много,что ip-шники необходимо менять) и он посылает запросы к дата-центрам гугла через каждые n-секунд (дабы не прослыть роботом). А уже с самим алгоритмом работы сего чуда и отображением результатов пусть работают ваши программисты (или вы, если этим занимаетесь).

Olalala, очень своевременный вопрос, как раз вчера Гугл закрыл тот тулбарный поиск который было удобно парсить. А к обычному поиску на сайте он теперь добавляет какойто уникальный маркер (параметр fp=..) Тоже озадачен вопросом как теперь парсить Гугл.

Что касается их API - к сожалению, эта фича отменена Гуглом некоторое время назад:

http://code.google.com/intl/ru/apis/soapsearch/

Если кто знает как это сделать сейчас через программный интерфейс - подскажите, тоже буду премного благодарен.

nocomments добавил 12.05.2010 в 15:49

Основную выдачу просто так теперь не получится. Два 302 редиректа, потом приходит скрипт. Парсить нечего... :(

nocomments

Так оно так, только вот СОАП не совсем закрыли, а предлогают юзать AJAX API.

Здесь я сейчас пытаюсь найти истину. Тоже вопрос актуальный.

slva2000 добавил 14.06.2010 в 11:31

ЗЫ: пока юзаю http://yandex.ru/msearch?text=&lr=197