Яндекс как раз отлично следует этой директиве...
Кликнув по запросу, прямо на странице - получите avg.pos. т.е. приблизительную позицию... Результат оооочень приближенный. Пользуйтесь специалазированным софтом для проверки позиций (Key Collector, Serp Parser...)
Легко:
1. Юзать прокси при парсинге;
2. Если запрос выдает значительное кол-во рэзалтов - долбить запросы многократно с перестановкой site:.com, site:.net, и т.д. получая по косарю с каждой доменной зоны...
3. парсить bing, yandex, yahoo, aol по тем же запросам - выдача будет различаться, причем существенно!
4. парсить с помощью перестановки поисковых операторов ("key", "* key", "key *", "~key", "key 1...20" и многое другое))
Pofit! Сотни тысяч результатов)
Twit Adder, сам пользуюсь прогоном по RSS и стат сайтам...
руки, мозг и одна из поисковых машин...
link:www.YourSite.com (Google)
link:http://www.YourSite.com/ (Yahoo)
Связка нескольких сервисов перечисленных выше, или других из сотен подобных...
могу посоветовать ScrapeBox (там есть аддон backlink checker, вводя в него не url, а кусок кода, и список url'ов где надо проверить - получите результат...). Софт платный.
Получив тестовый доступ, просидел все утро тестируя качество прокси...
Что могу сказать - сервис очень удобный. Есть возможность фильтрации прокси по странам, их скорости, типу (http, https, socks4, socks5) и анонимности.
Для моих целей прокси немного не те и мне бы подошли приватные т.к. из предоставленных списков встречаются и недолговечные или неподходящие для парсинга гугла (многопоточно собираю базы сайтов разного типа, запросы с множеством операторов...)
Тем не менее, сервисом доволен и советую пользоваться. Стоимость адекватная.
scrapebox - лучший софт в этом плане, но там нет Яндекса...
Отчего может быть проблема сбора статистики Adwords (собирать то собирает, но периодически все поля записывает как "нет данных" и приходиться все останавливать и перезапускать по-новой.)
Прокси не юзаю...
Возьму на тест. Интересует пригодность проксей для парсинга гугла...
