Форум Сайтостроение Веб-строительство

Проблема с cURL - как пройти защиту?

S
На сайте с 30.04.2012
Offline
73
Sorento
2374

Привет всем!

На cars.auto.ru включили новую защиту: теперь через cURL страницу брать не получается.

Надо не только корректно обработать куки, но и что-то предпринять с JS.

Проблему составляют внутренние страницы сайта вида http://cars.auto.ru/cars/used/bmw/320/ и http://cars.auto.ru/cars/used/sale/26740476-fa736.html — после нескольких попыток принять страницу через curl срабатывает защита сайта и выводится сообщение «Информация для пользователя Пожалуйста, для просмотра этого сайта, включите в браузере поддержку Сookies»

Если в браузере включить куки, но отключить JS, то через несколько запросов получаем отлуп "включите JS".

Это конечно можно обойти через http://phantomjs.org/, но как-то наворочено получается.

Может кто порекомендует более красивое решение? :)

H
На сайте с 25.11.2009
Offline
73
hiberok
#1

Курлом спокойно запрашивается эта страница http://cars.auto.ru/cars/used/sale/26740476-fa736.html

другое дело, что автору выдаст Вам только 10-15 таких страниц подряд, после чего будут проблемы. Даже с куками и полной имитацией браузера. Если нужна функция запроса - пишите в аську 314_115_560.

Готовые пакеты статей, актуальные в ЛС (/ru/forum/495191) Парсеры/грабберы любой сложности. Дорого. (http://www.weblancer.net/users/hiberok/reviews/)
Украинизация Google или Языковой Авторизация с пом. curl Насколько долго это выполняется
S
На сайте с 30.04.2012
Offline
73
Sorento
#2
hiberok:
Курлом спокойно запрашивается эта страница http://cars.auto.ru/cars/used/sale/26740476-fa736.html
другое дело, что автору выдаст Вам только 10-15 таких страниц подряд, после чего будут проблемы. Даже с куками и полной имитацией браузера. 314_115_560.

C полной иммитацией - вряд ли.

<Ctrl>+<F5> 30 раз из браузера - всё работает

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий