Выгребание запросов к Google автоматом

SilverMaster
На сайте с 08.10.2003
Offline
228
364

Не факт что угадал с разделом, простите если что.

Стала передо мной задача сложная (и смотрит на меня).

Нужно порядка 1млн запросов сделать к Гуглю - ну и разумеется получить ответы.

Сам код разбора хтмл не проблема.

Проблема в том, чтобы гугль дал автоматом забрать с него такой объем информации.

Я так понимаю никого API сейчас кроме как Ajax Search API у гугля нету.

В принципе и оттуда можно выковырять данные, но даст ли Гугль сделать такой объем запросов с одного IP?

Ходить с разных проксей и соксов тоже довольно неизящно, т.к. они тоже работают через раз на третий.

Если у кого есть изящные решения - готов заплатить как за голую идею так и за реализованную.

Из детских комшаров: "А вдруг ночью придет страшный робот!" Из взрослых: "И криво проиндексирует сайт". Не всякий гик добежит до середины поисковой страницы гугла
F
На сайте с 12.09.2003
Offline
120
#1

1 нормальные платные прокси с хорошим бендвичем

кол-во запросов в период времени/кол-во запросов до выдачи капчи(лока)=кол-во проксей

2 язык поддерживающий реальную мнопоточность

3 сервак с хорошим каналом

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий