Парсер запароленных страниц

14

simolin

4 мая 2008, 15:55

1012

Пишу парсер на php, но страницы, которые надо парсить, закрыты паролем. Может кто в курсе как можно авторизоватся скриптом, и дальше спарсить что нужно?

$Progr@mmer\.$

44

Progr@mmer\.

4 мая 2008, 16:05

#1

Если авторизация посредством кукисов, то через cURL отправляйте логин/пароль логинирующему скрипту, он отдаёт в заголовках куки - вы их выцепляйте и берёте страницы через тот же cURL, но ещё отсылайте им куки для запрашивамых страниц. В принципе, всё очень просто.

cURL

Вашей девушке не хватает романтики? Черпните её на сайте «Я Люблю Романтику» (http://iloveromantics.ru/). Романтический форум (http://forum.iloveromantics.ru/) для отдыха от нудной работы.

K

295

Kpd

4 мая 2008, 18:38

#2

simolin, откройте страницу в браузере, посмотрите какие заголовки отправляются, потом в скрипте посылайте те же с помощью curl или сокетов.

42

rcdimon

5 мая 2008, 14:56

#3

как на PHP не знаю, не работал с ним, а вот с помощью LWP модуля для Perl это просто. Посмотрите на cpan.org подберите модуль.. что-то типа LWP::UserAgent или в этом роде, там же документация по использованию.

ЗЫ. Парсить перлом тоже проще ) Чего только стоит модуль HTML::Parser

VV

64

VINOGRADOV

5 мая 2008, 15:56

#4

А на ASP нечто подобное возможно?

293

Brand from Amber

5 мая 2008, 19:04

#5

VINOGRADOV:
А на ASP нечто подобное возможно?

А почему нет? Копайте в сторону WinHttpRequest.

Лучший способ понять что-то самому - объяснить это другому.

VK приобрела 70% в структуре компании-разработчика red_mad_robot

Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы