Форум Сайтостроение Веб-строительство

Помогите с парсером

F3
На сайте с 09.08.2010
Offline
99
favorit345
805

Добрый вечер всем. Нужна табличка с данными с сайта https://novostroykirf.ru/1/#!joinsearch. Не могу понять как начать парсить... в консоли Network отправляются запросы POST, но в ответе не приходит тело страницы. Как можно достать данные из такого сайта?

Blaze1992
На сайте с 28.07.2014
Offline
52
Blaze1992
#1

Универсальными парсерами типа датакола и прочих.

F3
На сайте с 09.08.2010
Offline
99
favorit345
#2

уже разобрался, данные приходят там, как то в первый раз недоглядел...

а датаколы и т.д. обрабатывают js нормально?

SocFishing
На сайте с 26.09.2013
Offline
118
SocFishing
#3

Проще всего эмулировать браузер и получать содержимое страниц. Парсить GWTP в /dispatch/DtoAction и разбирать замучаешься.

Вопрос только что использовать для этого.

★Сервис идентифицирует (https://socfishing.com/?utm_source=searchengines) посетителей вашего сайта и предоставляет их профили ВКонтакте, Телефон, Почта! Цены копеечные, работаем 8 лет.
F3
На сайте с 09.08.2010
Offline
99
favorit345
#4

Да, какая то фигня получается. Данные исходные есть в ответе, а id для перехода по ссылке там где Имя ЖК и отправки следующего запроса нет там. Откуда его брать?

F3
На сайте с 09.08.2010
Offline
99
favorit345
#5

Если кто-то сможет подсказать как формируются id ссылок типа https://novostroykirf.ru/1/#!joinsearch nref=4223578001 для перехода в карточку, буду очень благодарен. Этого уже в ответе DtoAction найти не могу((

php.developer
На сайте с 22.11.2010
Offline
94
php.developer
#6

phantomjs вам поможет.

F3
На сайте с 09.08.2010
Offline
99
favorit345
#7

php.developer, а по phantomjs есть какая нибудь библиотека на php или только надо писать на javascript?

php.developer
На сайте с 22.11.2010
Offline
94
php.developer
#8
favorit345:
php.developer, а по phantomjs есть какая нибудь библиотека на php или только надо писать на javascript?

только js, на сервере

ДП
На сайте с 23.11.2009
Offline
203
Дикий пионер
#9

Любопытные там запросы на сервер уходят - прям sql походу передается:

7|0|21|https://novostroykirf.ru/1/rns/|8FB8A81CD87C5F9D33E90666DB82009A|com.gwtplatform.dispatch.rpc.shared.DispatchService|execute|java.lang.String/2004016611|com.gwtplatform.dispatch.rpc.shared.Action|by.sws.shared.dispatch.DtoAction/282871805|[Lby.sws.shared.defs.QueryParams;/2562752942|by.sws.shared.defs.QueryParams/4209548804|java.util.HashMap/1797211028|skvob|662|selfind|select nref from TAS99003 where vfind in('062_default_oa_multifamilyhouse','062_default_oa_townhouse','062_default_oa_suite') /*ADD_WHERE*/|by.sws.shared.defs.QueryName/1526760155|662.4|select nref from TAS99003 where vfind in('062_default_oa_multifamilyhouse','062_default_oa_townhouse','062_default_oa_suite','063_default_oa_multifamilyhouse','063_default_oa_townhouse') and nref in (select decode(value,-100, nref, value) from TAS99003 where vfind ='062_buildname_key' and nref in (select npu00001 from WPU00001 where nuser=<NUSER_SYMBOL> and nknvg=662) /*ADD_WHERE*/)#(select count(*) from TAS99003 where vfind ='062_buildname_key' and value=r01.npk and nref in (select npu00001 from WPU00001 where nuser=<NUSER_SYMBOL> and nknvg=662 /*ADD_WHERE*/))QOBJECTFIND|imin|1|imax|20|1|2|3|4|2|5|6|0|7|1|8|2|9|10|2|5|11|5|12|5|13|5|14|15|31|9|10|4|-5|5|16|-7|5|17|5|18|5|19|5|20|5|21|15|26|

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий