sabotage: Это не причина проблемы, один из вариантов. Можешь сравнить куки, получаемые браузером и скриптом. Как вариант, получить куки браузером, записать в файл и попробовать отдать.
digwnews: Это странно.
Хотя в общем-то для решения проблемы это никак не влияет, всё равно нужно обрабатывать этот случай даже при обходе этой ситуации.
Парсить яндекс таким способом -самое надёжное решение.
Это вы про ввод капчи?
digwnews: И, кстати, ваш скрипт где-нибудь нормально работает? Нарример, на локалке. А то может яндекс ждёт какие-то доп. хедеры и из-за отстутствия их выдаёт эту страницу?
freesoccer: У меня такое вылазило в зависимости от хостинга, где стоят прокси. Кое где есть, а кое где нет. Отчего такое разбираться не стал, ибо шаред-хостингов под прокси хватает.
freesoccer: 2. Если делать одновременно 2-3 запроса к Яндексу с одного айпи, айпи уходит в бан, примерно часов на 8-12. Поэтому запросы с одного айпи нужно производить хотя-бы с интервалом в 1 минуту.
Скажем так, человеку которому эта информация что-то даст и без нее проще продвигать сайт самому, в обратном случае, клиенту просто хочется знать на что тратятся его деньги и быть уверенным, что он не переплачивает.
Теперь проблема с IP-адресами будет отходить на второй план.
Текст рассылки ниже.
Поддержка формата IPv6 в DNS серверах для доменов RU / SU / РФ
Информируем Вас о том, что с 22 февраля 2011 года для доменов, зарегистрированных в REG.RU в зонах RU / SU / РФ появилась возможность указывать IP-адреса DNS-серверов в формате IPv6. Изначально в интернете используется протокол IPv4, адресное пространство которого составляет около 4 млрд. адресов. В связи с ограниченным количеством адресов, был введен протокол IPv6, который увеличивает число идентификаторов практически до бесконечности.
Прописать DNS-сервера, используя протокол IPv6, Вы можете в своем Личном кабинете в разделе «Мои домены», выбрав необходимый домен. На странице управления доменом выберите DNS-серверы и укажите требуемые IP-адреса.
Справка:
IPv6 — это новая версия фундаментального протокола, позволяющая решить проблему нехватки IP-адресов. Длина каждого IP-адреса новой версии составляет 128 бит, вместо 32 бит в предыдущей. Помимо значительного увеличения адресного пространства предполагается, что IPv6 сможет поддерживать большее число уровней сетевой иерархии и более оптимальное с точки зрения маршрутизации и конфигурации распределение адресного пространства.
Попробовал у себя, всё работает.
http://yandex.ru/ открывает этот скрипт?
Тогда дело в хостинге, но в чем ... и раньше работал.
Яндекс палит хостинг, но как?
NikolaZ, Яндексу достаточно проверять куки, поставленные через javascript. Если их нет, а запросов много - бан.
Эти 2 строки разве не отдают куки?
curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);
curl_setopt($ch, CURLOPT_COOKIEJAR, $user_cookie_file);
Это не причина проблемы, один из вариантов. Можешь сравнить куки, получаемые браузером и скриптом. Как вариант, получить куки браузером, записать в файл и попробовать отдать.
Куки, получаемые скриптом привел выше.
Вручную не разберусь.
Всего 5 файлов, это кусок первого:
@yandex[1].txt
Куки, получаемые браузером.
Такие записи:
fuid01
4d35cc351793b273.i12fmDKMWM273nHYgdvIKVyIaNuohIIh7NqRdUBAUzW-7p8dwP6G6625AiREngLq4T6aL7EUSgCsWxkKde8cHE-dxsKd5y6oFbbAA4oq2up2ypcVb2Y5_PH1gk3zKI4y
yandex.ru/
2147484752
3485287040
30880635
403804224
30146381
*
yandexuid
556295061303298486
yandex.ru/
2147484672
2092637824
30887281
3317842304
30153026
*
yabs-frequency
/3/25_U0EW78IUCJW3e1q6l7m87jmSy0001INi22hC7F0000G00/
yandex.ru/
1024
2319554304
30172901
4186797936
30152784
Это странно.
Хотя в общем-то для решения проблемы это никак не влияет, всё равно нужно обрабатывать этот случай даже при обходе этой ситуации.
Парсить яндекс таким способом -самое надёжное решение.
Это вы про ввод капчи?
И, кстати, ваш скрипт где-нибудь нормально работает? Нарример, на локалке. А то может яндекс ждёт какие-то доп. хедеры и из-за отстутствия их выдаёт эту страницу?
Нет не проверял.
А что в нем неправильно?
http://ya.ru/ скрипт открывает.
Конечно возможно Яндекс ждёт какие-то хедеры. Cookie может?
CURL нормально отправляет Cookie?
Вот дописано в cookies.txt
# Netscape HTTP Cookie File
# http://www.netscape.com/newsref/std/cookie_spec.html
# This file was generated by libcurl! Edit at your own risk.
.yandex.ru TRUE / FALSE 1312378916 spravka dD0xMjc4MjUwOTE2O2k9MTc4LjYzLjk1LjE5O3U9MTI3ODI1MDkxNjEyMDQyNjc5MTtoPWZhZTgyZjJmMjNjNTM2YWQ2NTk1YTBjZWM4MDc3OWU1
.ya.ru TRUE / FALSE 994429134 S
.ya.ru TRUE / FALSE 1312380094 yandex_gid 99
ya.ru FALSE / FALSE 994428827 yp
Что означают эти записи?
spravka не изменилась.
Вы видимо расположились на таком хосте, с котрого постоянно шлют запросы кто-то на яндекс, вот ваш ip и всегда забанен.
Пробовал из 2 выделенных IP адресов.
Может вся сетка IP адресов забанена?
Это в этом месяце случилось. Раньше все работало.
У меня такое вылазило в зависимости от хостинга, где стоят прокси. Кое где есть, а кое где нет. Отчего такое разбираться не стал, ибо шаред-хостингов под прокси хватает.
Спасибо за ответ.
Это на хостинге надо ставить proxy скрипт?
Какой порекомендуете proxy скрипт?
А запросы слать с другого хостинга?
Выделенный айпи нужен?
Какие требования к шаред-хостингу под прокси?
Чтобы не палил:
1. Юзать прокси.
Прокси брал в сети бесплатные: 58.61.156.183:80
Через URLOPT_PROXY http://ya.ru/ открывает, а http://yandex.ru/ нет.
2. Если делать одновременно 2-3 запроса к Яндексу с одного айпи, айпи уходит в бан, примерно часов на 8-12. Поэтому запросы с одного айпи нужно производить хотя-бы с интервалом в 1 минуту.
15 минут не помогают.
Может вся сетка забанена?
Пробовал из 2 IP.
Это в этом месяце случилось. Раньше все работало.
3. А почему у вас нет нигде:
$refer есть, а CURLOPT_REFERER нет ;)
CURLOPT_REFERER есть. Пишу туда http://ya.ru/ или http://yandex.ru/ - это нормально?
Сохраняйте куки, переходите по Location, распознавайте картинку через сервис и делайте запрос снова.
Какие есть сервисы? Хотя такое решение не нравится.
Но все же, как Яндекс палит?
Статья каким образом размножается до 100 вариантов.
Мы просим отчет по конкретным работам, проводимых с нашим сайтом, другое нас не интересует.
А зачем тогда говорить про ТОП, если вас интересуют только работы?
Скажем так, человеку которому эта информация что-то даст и без нее проще продвигать сайт самому, в обратном случае, клиенту просто хочется знать на что тратятся его деньги и быть уверенным, что он не переплачивает.
Ключевое слово: он не переплачивает
А вы сколько платили? О каких суммах речь?
Жадность фраера сгубила.
Получил рассылку от REG.RU.
Можно сказать приятное известие.
Теперь проблема с IP-адресами будет отходить на второй план.
Текст рассылки ниже.
Поддержка формата IPv6 в DNS серверах для доменов RU / SU / РФ
Информируем Вас о том, что с 22 февраля 2011 года для доменов, зарегистрированных в REG.RU в зонах RU / SU / РФ появилась возможность указывать IP-адреса DNS-серверов в формате IPv6. Изначально в интернете используется протокол IPv4, адресное пространство которого составляет около 4 млрд. адресов. В связи с ограниченным количеством адресов, был введен протокол IPv6, который увеличивает число идентификаторов практически до бесконечности.
Прописать DNS-сервера, используя протокол IPv6, Вы можете в своем Личном кабинете в разделе «Мои домены», выбрав необходимый домен. На странице управления доменом выберите DNS-серверы и укажите требуемые IP-адреса.
Справка:
IPv6 — это новая версия фундаментального протокола, позволяющая решить проблему нехватки IP-адресов. Длина каждого IP-адреса новой версии составляет 128 бит, вместо 32 бит в предыдущей. Помимо значительного увеличения адресного пространства предполагается, что IPv6 сможет поддерживать большее число уровней сетевой иерархии и более оптимальное с точки зрения маршрутизации и конфигурации распределение адресного пространства.
ТС, так что с ценообразованием ваших услуг?
Хочу взять у вас сервер, но почему такая цена понять не могу.
Где у вас смета по распределению затрат на сервера?
Прежде, чем судить о вашей ситуации с ваших слов, надо знать и ситуацию, как ее видят ваши исполнители.
Грабли ваш любимый инструмент?