Парсинг динамических страниц

12
K
На сайте с 17.05.2016
Offline
25
4906

Здравствуйте, товарищи!

Даже не сомневаюсь, что уже сто раз спрашивали что-то похожее, но гуглю и читаю на эту тему и че-то не въеду никак как действовать.

В чем суть: хочу парсить страницу. Аналогичную этой - http://dating.rambler.ru/a-search

Как видим - поиск идет не GET запросом, а через хитрые скрипты. Настройки поиска сохраняются в куках наверное, но при открытии со своего браузера они остаются те же, что вводил днем ранее. При простом парсинге эти условия поиска берутся какие-то дефолтовые и выводятся соответствующие данные.

Задача: парсить страницу не с дефолтовыми условиями, а с какими-то другими. Менять их регулярно нет нужды. Просто подменить один раз и дальше парсить с этими другими условиями.

Моё видение: настроить поиск на своем компе, выковырнуть куку и как-то подложить её при парсинге с сервака.

Ощущение, что моё видение - какая-то хрень. А как на самом деле нужно делать, подскажите плз?

Проверенная видеореклама (https://goo.gl/vhomjx) для любых сайтов Нормальные пацаны покупают и продают сайты здесь (https://goo.gl/nKv5Vk)
D
На сайте с 14.01.2007
Offline
153
#1

knak, ковырять аякс запросы

Samail
На сайте с 10.05.2007
Offline
330
#2

Там POST запрос отправляется. Выбери нужные условия. Отправь запрос, погляди что отправляется и отправляй то-же самое php скриптом.

...конечно нужно смотреть на "аналогичную" страницу, там может быть по другом поиск утроен и только внешне похож.

K
На сайте с 17.05.2016
Offline
25
#3
Samail:
Там POST запрос отправляется. Выбери нужные условия. Отправь запрос, погляди что отправляется и отправляй то-же самое php скриптом.
...конечно нужно смотреть на "аналогичную" страницу, там может быть по другом поиск утроен и только внешне похож.

ага... точно. не совсем правильный образец подобрал.

а вот тут как быть - https://new.tv.rambler.ru/ ? Когда все каналы выбираем? И регион. То что справа кнока поп-ап открывает с огромным списком.

Samail
На сайте с 10.05.2007
Offline
330
#4

Не совсем понял что там нужно. Список каналов get запросом получить можно https://new.tv.rambler.ru/get_tv_channels/?tv_region=585

K
На сайте с 17.05.2016
Offline
25
#5
Samail:
Не совсем понял что там нужно. Список каналов get запросом получить можно https://new.tv.rambler.ru/get_tv_channels/?tv_region=585

Нужен не список каналов, а например программа передач ВСЕХ каналов в Санкт-Петербурге.

зы. как Вы нашли этот гет запрос?!

ДП
На сайте с 23.11.2009
Offline
190
#6

В браузере хром есть ссредства разработчика - они же chrome developer tools. В них есть вкладка network, которая показывает все запросы, которые отправляет браузер и все ответы сервера.

Если хотите парсить - вам надо подружиться в этим инструментом. В файрфоксе и ие есть аналоги.

K
На сайте с 17.05.2016
Offline
25
#7
Дикий пионер:
В браузере хром есть ссредства разработчика - они же chrome developer tools. В них есть вкладка network, которая показывает все запросы, которые отправляет браузер и все ответы сервера.
Если хотите парсить - вам надо подружиться в этим инструментом. В файрфоксе и ие есть аналоги.

йопрст! Я там всегда ковырялся, но до этих инструментов не доходил. Нашел, что требовалось и нужный гет запрос. Спасибо огромное! Я теперь ваще как царь парсить буду :D

CP
На сайте с 12.08.2009
Offline
101
#8

phantomjs зайти авторизоваться и парить всё что хочется)

Под nodejs horseman либа есть, полёт нормальный.

Профессиональный frontend: JS, html,css, Single-Page App (/ru/forum/964386)
totamon
На сайте с 12.05.2007
Offline
350
#9
knak:
Я теперь ваще как царь парсить буду

следующий уровень - парсер 80 лвл😂

Хостинг от 90р ( https://goo.gl/h1VRkY ) и ВПС от 161р ( https://goo.gl/vw9JH7 ) 14 дней бесплатный тест! Лучшие ВПС, ТП огонь, все страны! https://8fn.ru/inferno а тут ВПС за 1,25$ https://8fn.ru/vps1doll Монетизация любых сайтов PUSHами ( https://8fn.ru/push ) - лучшая цена клика и показа ;)
K
На сайте с 17.05.2016
Offline
25
#10

граждане, помогите пожалуйста, кто знает... отковырял я ГЕТ для вывода расписания, но список каналов-то подгребается из куков. Там видно даже кусок "tv_channels=....". А куки у сервака не те, что надо. Можно как-то задать в ручную этот этот список каналов?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий