Бан за парсинг выдачи

юзер агент?

leo3331 добавил 16.12.2010 в 17:54

а лучше всего смотри мот ифрэйм какойто есть который куку принимает или ещё чо... то что не зависит от js

А User-Agent, Reference, java-script?

Как минимум используйте curl + эмуляцию User-Agent'а какого либо браузера.

А вообще есть же xml.yandex.ru, чем вас он не устроил? Там не банят.

Reference это что?

На денвере курла нет,парсю простым file_get_contents(). Можно виртуалку с фряхой запустить, но устанавливать это всё геморно.

Не более 1к раз в сутки немного удручает.

Гмм, в чем проблема делаешь 10 юзеров и подтверждаешь 10 телефонов (попроси друзей, родных), кучу ip адресов можно получить скажем подключив мобильный 3G модем, там каждое подключение новый ip адрес, будет тебе 10к в сутки.

P.S. Кажется я понимаю почему тебя забанили, если тебе 1к запросов в сутки мало, то конечно тебя любой ПС забанит, у меня одиночные запросы через file_get_contents работали на ура, если конечно посылать по 100 запросов в минуту забанят быстро.

WhiteSmartFox добавил 16-12-2010 в 18:12

А в чем проблема скачать и поставить? Там все элементарно.

у file_get_contents есть параметр куда можно передавать результат функции сreate_stream_context. В этой функции можно указать все, что вам нужно

Это все не поможет, если надо тысячи запросов в сутки гонять, забанят просто по кол-ву запросов (+ отсутствию переходов, JS и загрузки картинок).

WhiteSmartFox добавил 16-12-2010 в 18:16

Описался, он тут не причем

Эмуляцию всего.

Народ живёт в начале тыщелетия, всё думает, что можно дёргать инфу по одному (и самому простейшему) признаку, остальное игнорировать, и им за это ничего не будет.

Если я ничего не путаю, то у гугла есть платный API для запроса информации пачками.