Форум Сайтостроение Веб-строительство

обход 1000 запросов в яндекс xml

12
[Удален]
2173

Добрый день .

Меня интересует тема с парсингом яндекса .

Всем известно , что у яндекс xml ограничение в 1000 запросов в сутки с одного ИПа ,

а у обычного яндекса стоит только произвести быстро несколько запросов , он ставит каптчу .

Есть ли какой нибудь уже придуманный обход ?

Или стоит попариться с yandex xml , а именно после каждых 1000 запросов отправлять пост запрос на новый логин в яндексе и подключаться к прокси ?

Слышал также , что найден обход каптчи яндекса ( типо за 2 недели типо программисты решили проблему ) .

Кто что может сказать ?

Kolyaj
На сайте с 28.03.2006
Offline
69
Kolyaj
#1
wtfowned:
типо за 2 недели типо программисты решили проблему

Хорошие программисты, ага. Парсите медленнее - не будет вам каптчи.

[Удален]
#2
Kolyaj:
Хорошие программисты, ага. Парсите медленнее - не будет вам каптчи.

sleep в 5 секунд между запросами даже не помогает

Kolyaj
На сайте с 28.03.2006
Offline
69
Kolyaj
#3
wtfowned:
sleep в 5 секунд между запросами даже не помогает

Мне помогает задержка в 1 минуту через каждые 20 запросов при условии, что я залогинен. Скорее всего и через каждые 30 запросов прокатит, не пробовал.

DENIEL
На сайте с 15.11.2005
Offline
73
DENIEL
#4

wtfowned,

wtfowned:
sleep в 5 секунд между запросами даже не помогает

Вам ничего не поможет :D

Кража контента или в данном случае выдачи мало кем приветствуется, так что если и впрямь пытаетесь делать че-то подобное, тогда вам в поиск или в учебники...

Прежде чем что-то сказать думайте, если не хотите думать - лучше не говорите.
Адвокат
На сайте с 23.08.2006
Offline
117
Адвокат
#5
wtfowned:
sleep в 5 секунд между запросами даже не помогает

Парсить надо в 1 поток, и задержка между запросами 2 секунды, все работает, проверено. Капча не появляется.

[Удален]
#6

DENIEL, если ты собираешься что-то парсить , это не значит что это кража контекта .

В моем случае это написание программы под веб наподобие site auditor .

Адвокат, Ей богу 5 секунд пробовал , вылезала +)) Ладно , попробую ещё .

А вообще тему я создал именно о yandex xml , мне интересно , можно ли как нибудь обойти их ограничение в 1000 запросов . У меня с работы были 2 человека на конференции на той неделе , и там народ говорил , что это все фигня , все легко , проблемы могут возникнуть только если , например , 1 мил запросов в день +)) Ну они подумали , что все так просто , и даже не спросили подробностей )

А также такой вопрос , может немножко не в тему .

Я юзаю функцию file_get_contents и домом по ней пробегаюсь . Но проблема в том , что на это уходит довольно много трафика , так как сохраняются ещё картинки и вся байда . Что можно сделать в такой ситуации ? П.С. регулярки ненавижу

[Удален]
#7

string file_get_contents ( string filename [, bool use_include_path [, resource context [, int offset [, int maxlen]]]] )

Даже на оффе нету разяснения , для чего в данном случае context и offset ://

BigMaK
На сайте с 12.12.2005
Offline
109
BigMaK
#8

Теоритически наличие сайта в РСЯ снимает лимит на 1000 запросов в день.

Но лично у меня ситуация такая:

Сайт в РСЯ. 5 минут назад превысил лимит в 1000 запросов. Дальше ничего не работает, то есть лимит для IP в РСЯ сохранился и равен 1000 запросов, как побороть - не знаю.

Сервис мгновенного обратного звонка с сайта (http://www.chaser.ru) - увеличивает телефонную конверсию сайта на 20-80%.
Редирект на субдомен Яндекс выкосил 99.9% сайтов Научите бороться с DDoS-атаками
DENIEL
На сайте с 15.11.2005
Offline
73
DENIEL
#9
wtfowned:
Но проблема в том , что на это уходит довольно много трафика , так как сохраняются ещё картинки и вся байда .

Картинки и вся байда не сохраняется, если Вы не имеете ввиду просто их адреса в полученном тексте.

Используйте http://ua2.php.net/manual/ru/ref.curl.php

А file_get_contents(), все есть на оф. сайте

int offset [, int maxlen]]] - содержимое файла возвращается в строке, начиная с указанного смещения offset и до maxlen байтов

Что такое context почитайте в комментах

http://ua2.php.net/manual/ru/function.file-get-contents.php

[Удален]
#10

DANIEL, спасибо !

Че то я ступил по поводу картинок :///

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий