Парсим выдачу

>пробую разбавлять запрос случайным словом из словаря, релевантность выдачи снижается

а ты не случайным разбавляй а тематическим

>Пробую всякие там операторы уточняющие, он гад, мой скрипт роботом обзывает

хорошие прокси тебе в помощь

Вообще-то можно 1000, а не 500 брать с обычного запроса.

прокси +1 (но, найти хорошие проксики не очень то просто, с теми что можно бесплатно собрать - один геморой)

dooraway, попробуйте собирать по 1к с разных датацентров, когда-то прокатывало....

Конкретизируй запрос. На пример site:com site:org inurl:bla-bla allinurl: в общем используй доп. запросы, их ОЧЕНЬ МНОГО можно придумать. И с каждого вытащишь по 1000 урлов. Главное потом на дублирование проверяй.

Qvent в точку попал.

собирай с разных доменных зон, ищи по вхождению в урле чего-нибудь и т.д.

да ошибся, 1000 выдает.

sergwm, разбавлять тематичеcки плохо получается, мало там текста, да и однообразный он приемущественно...

насчет проксей... только если платный сервис заюзать... а с беспатными каши не сваришь :(

DASich, а как это с разных датацентров? я так не умею.

Qvent, спасибо, то что надо. Хотя я вобщем то так и делал. только не те операторы использовал. точнее не те фразы под оператором. Он оказывается некоторые фразы под intitle сразу считает нехорошими ;-)

да, вот еще мысль пришла.

может есть поисковики какие нибудь малоизвестные, где нет ограничения на размер выдачи?

Только вот и индекс у них другого размера наверное :)

А по поводу проксей, не согласен. Вот к примеру сервис с нормальными проксями, сам его юзаю http://proxy-list.org/

А это по моему совсем не пролезет. Выдача отличается по датацентрам, только когда гугл трясёт, хотя могу ошибаться.

ТС извени конечно, но самый простой способо собрать то что очень нужно это руками...

А вообще хороший парсер(+прокси), метод подстановки и знание операторов гугла :)