Исполнение JS на сервере

S
На сайте с 30.04.2012
Offline
73
2284

привет

Для парсинга одного сайта нужно выполнить некий JavaScript код, выдаваемый этим сайтом. В принципе phantomjs реализует функционал, но он не умеет устанавливать cookies через JS.

Что посоветуете? Парсер под *NIX, многопоточный.

D
На сайте с 14.01.2007
Offline
153
#1

написать аналог JS функции на PHP?

S
На сайте с 30.04.2012
Offline
73
#2

нет

сайт, с которого парсим контент, устанавливает у пользователя куки как обычным образом, так и через JS (так построена защита)

и чтобы сайт нормально отдавал страницы, приходится эмулировать браузер

Сам парсер на php.

SK
На сайте с 31.08.2007
Offline
81
#3

я когда с таким сталкивался распарсивал выдачу JS кодов, где ставятся куки, и вручную передавал (в курле всё). в своё время искал чтото про эмуляцию js в php но ничего путевого не нашел.

Нужен перенос информации? Информеры на сайт? Сграбить контент? Создать базу товаров? Изготовление любых парсеров! (/ru/forum/836197)
S
На сайте с 30.04.2012
Offline
73
#4

слышал про решение с использованием http://seleniumhq.org/

но как-то слабо вижу как в, скажем, 50 потоков, это происходит. И как глючит в 50 потоков))

LEOnidUKG
На сайте с 25.11.2006
Offline
1774
#5

А выставите сразу же куки нужные и передать его скрипту, никак?

JS вы не выполните, а если будет выполнятся, то это буде уже не то, что вам нужно.

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
S
На сайте с 30.04.2012
Offline
73
#6

>А выставите сразу же куки нужные и передать его скрипту, никак?

Никак. На этом строится защита cars.auto.ru

кто может решить задачу - в личку, плз ;)

Прокси живут по 1-2 запроса, поэтому вариант не гуд.

wwwwww
На сайте с 29.04.2011
Offline
195
#7

Так дописывайте свой браузер, в чем проблема?

Ставите условие на взаимодействие PHP и JS, получаете куки, записываете на память или куда хотите, при вызове JS куки - отдаете ее с помощью PHP.

Движков Js несколько. Главное руки прямые. И отреагировать на событие.

Видишь? Свободная подпись.
S
На сайте с 30.04.2012
Offline
73
#8

Актуально.

> кто может решить задачу - в личку, плз

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий