Форум Сайтостроение Веб-строительство

Парсер с авторизацией и хранением сессии

[Удален]
3615

Задача такая:

-удалённо авторизоваться на странице page1

-парсить страницу page2, к которой доступ только залогиненным пользователям

-циклически парсить страницы page2.1, page2.2, ..., page 2.n, при чём делать это с перезагрузкой страницы парсера, то есть с выдачей информации на экран в процессе работы.

Правильно ли я понимаю, что технически для этого нужно?

-курлом или иным способом отправить post-запрос на page1 и получить cookie сессии

-с каждым следующим запросом к любой странице добавлять в заголовок эту cookie

Сами по себе все эти задачи я делать умею, но с сохранением сессии при парсинге ещё никогда не работал. Есть ли готовые примеры подобных парсеров или про что почитать?

Оптимизайка
На сайте с 11.03.2012
Offline
396
Оптимизайка
#1

Как то так, да, но потом на форуме появится очередной тред про кражу контента :-E

⭐ BotGuard (https://botguard.net) ⭐ — защита вашего сайта от вредоносных ботов, воровства контента, клонирования, спама и хакерских атак!
IL
На сайте с 20.04.2007
Offline
435
ivan-lev
#2
Serge_N:
-с каждым следующим запросом к любой странице добавлять в заголовок эту cookie

http://php.net/manual/en/function.curl-setopt.php

CURLOPT_COOKIEFILE

CURLOPT_COOKIEJAR

... :) Облачные серверы от RegRu - промокод 3F85-3D10-806D-7224 ( http://levik.info/regru )
[Удален]
#3

Смею заверить, ко краже контента это не имеет никакого отношения. Просто удалённый мониторинг сайта.

Действительно, curl+cookies должно подойти, будем пробовать, спасибо за совет.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий