NikolaZ

NikolaZ
Рейтинг
138
Регистрация
17.12.2007
digwnews:

Попробовал у себя, всё работает.

http://yandex.ru/ открывает этот скрипт?

Тогда дело в хостинге, но в чем ... и раньше работал.

Яндекс палит хостинг, но как?

sabotage:
NikolaZ, Яндексу достаточно проверять куки, поставленные через javascript. Если их нет, а запросов много - бан.

Эти 2 строки разве не отдают куки?

curl_setopt($ch, CURLOPT_COOKIEFILE, $user_cookie_file);

curl_setopt($ch, CURLOPT_COOKIEJAR, $user_cookie_file);

sabotage:
Это не причина проблемы, один из вариантов. Можешь сравнить куки, получаемые браузером и скриптом. Как вариант, получить куки браузером, записать в файл и попробовать отдать.

Куки, получаемые скриптом привел выше.

Вручную не разберусь.

Всего 5 файлов, это кусок первого:

@yandex[1].txt

Куки, получаемые браузером.

Такие записи:

fuid01

4d35cc351793b273.i12fmDKMWM273nHYgdvIKVyIaNuohIIh7NqRdUBAUzW-7p8dwP6G6625AiREngLq4T6aL7EUSgCsWxkKde8cHE-dxsKd5y6oFbbAA4oq2up2ypcVb2Y5_PH1gk3zKI4y

yandex.ru/

2147484752

3485287040

30880635

403804224

30146381

*

yandexuid

556295061303298486

yandex.ru/

2147484672

2092637824

30887281

3317842304

30153026

*

yabs-frequency

/3/25_U0EW78IUCJW3e1q6l7m87jmSy0001INi22hC7F0000G00/

yandex.ru/

1024

2319554304

30172901

4186797936

30152784

digwnews:
Это странно.
Хотя в общем-то для решения проблемы это никак не влияет, всё равно нужно обрабатывать этот случай даже при обходе этой ситуации.
Парсить яндекс таким способом -самое надёжное решение.

Это вы про ввод капчи?

digwnews:
И, кстати, ваш скрипт где-нибудь нормально работает? Нарример, на локалке. А то может яндекс ждёт какие-то доп. хедеры и из-за отстутствия их выдаёт эту страницу?

Нет не проверял.

А что в нем неправильно?

http://ya.ru/ скрипт открывает.

Конечно возможно Яндекс ждёт какие-то хедеры. Cookie может?

CURL нормально отправляет Cookie?

Вот дописано в cookies.txt

# Netscape HTTP Cookie File

# http://www.netscape.com/newsref/std/cookie_spec.html

# This file was generated by libcurl! Edit at your own risk.

.yandex.ru TRUE / FALSE 1312378916 spravka dD0xMjc4MjUwOTE2O2k9MTc4LjYzLjk1LjE5O3U9MTI3ODI1MDkxNjEyMDQyNjc5MTtoPWZhZTgyZjJmMjNjNTM2YWQ2NTk1YTBjZWM4MDc3OWU1

.ya.ru TRUE / FALSE 994429134 S

.ya.ru TRUE / FALSE 1312380094 yandex_gid 99

ya.ru FALSE / FALSE 994428827 yp

Что означают эти записи?

spravka не изменилась.

digwnews:
Вы видимо расположились на таком хосте, с котрого постоянно шлют запросы кто-то на яндекс, вот ваш ip и всегда забанен.

Пробовал из 2 выделенных IP адресов.

Может вся сетка IP адресов забанена?

Это в этом месяце случилось. Раньше все работало.

freesoccer:
У меня такое вылазило в зависимости от хостинга, где стоят прокси. Кое где есть, а кое где нет. Отчего такое разбираться не стал, ибо шаред-хостингов под прокси хватает.

Спасибо за ответ.

Это на хостинге надо ставить proxy скрипт?

Какой порекомендуете proxy скрипт?

А запросы слать с другого хостинга?

Выделенный айпи нужен?

Какие требования к шаред-хостингу под прокси?

freesoccer:
Чтобы не палил:
1. Юзать прокси.

Прокси брал в сети бесплатные: 58.61.156.183:80

Через URLOPT_PROXY http://ya.ru/ открывает, а http://yandex.ru/ нет.

freesoccer:
2. Если делать одновременно 2-3 запроса к Яндексу с одного айпи, айпи уходит в бан, примерно часов на 8-12. Поэтому запросы с одного айпи нужно производить хотя-бы с интервалом в 1 минуту.

15 минут не помогают.

Может вся сетка забанена?

Пробовал из 2 IP.

Это в этом месяце случилось. Раньше все работало.

freesoccer:
3. А почему у вас нет нигде:

$refer есть, а CURLOPT_REFERER нет ;)

CURLOPT_REFERER есть. Пишу туда http://ya.ru/ или http://yandex.ru/ - это нормально?

nipler:
Сохраняйте куки, переходите по Location, распознавайте картинку через сервис и делайте запрос снова.

Какие есть сервисы? Хотя такое решение не нравится.

Но все же, как Яндекс палит?

Статья каким образом размножается до 100 вариантов.

Manager-TELHosting:
Мы просим отчет по конкретным работам, проводимых с нашим сайтом, другое нас не интересует.

А зачем тогда говорить про ТОП, если вас интересуют только работы?

Manager-TELHosting:

Скажем так, человеку которому эта информация что-то даст и без нее проще продвигать сайт самому, в обратном случае, клиенту просто хочется знать на что тратятся его деньги и быть уверенным, что он не переплачивает.

Ключевое слово: он не переплачивает

А вы сколько платили? О каких суммах речь?

Жадность фраера сгубила.

Получил рассылку от REG.RU.

Можно сказать приятное известие.

Теперь проблема с IP-адресами будет отходить на второй план.

Текст рассылки ниже.

Поддержка формата IPv6 в DNS серверах для доменов RU / SU / РФ

Информируем Вас о том, что с 22 февраля 2011 года для доменов, зарегистрированных в REG.RU в зонах RU / SU / РФ появилась возможность указывать IP-адреса DNS-серверов в формате IPv6. Изначально в интернете используется протокол IPv4, адресное пространство которого составляет около 4 млрд. адресов. В связи с ограниченным количеством адресов, был введен протокол IPv6, который увеличивает число идентификаторов практически до бесконечности.

Прописать DNS-сервера, используя протокол IPv6, Вы можете в своем Личном кабинете в разделе «Мои домены», выбрав необходимый домен. На странице управления доменом выберите DNS-серверы и укажите требуемые IP-адреса.

Справка:

IPv6 — это новая версия фундаментального протокола, позволяющая решить проблему нехватки IP-адресов. Длина каждого IP-адреса новой версии составляет 128 бит, вместо 32 бит в предыдущей. Помимо значительного увеличения адресного пространства предполагается, что IPv6 сможет поддерживать большее число уровней сетевой иерархии и более оптимальное с точки зрения маршрутизации и конфигурации распределение адресного пространства.

ТС, так что с ценообразованием ваших услуг?

Хочу взять у вас сервер, но почему такая цена понять не могу.

Где у вас смета по распределению затрат на сервера?

Прежде, чем судить о вашей ситуации с ваших слов, надо знать и ситуацию, как ее видят ваши исполнители.

Грабли ваш любимый инструмент?

Всего: 259