- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
привет
Для парсинга одного сайта нужно выполнить некий JavaScript код, выдаваемый этим сайтом. В принципе phantomjs реализует функционал, но он не умеет устанавливать cookies через JS.
Что посоветуете? Парсер под *NIX, многопоточный.
написать аналог JS функции на PHP?
нет
сайт, с которого парсим контент, устанавливает у пользователя куки как обычным образом, так и через JS (так построена защита)
и чтобы сайт нормально отдавал страницы, приходится эмулировать браузер
Сам парсер на php.
я когда с таким сталкивался распарсивал выдачу JS кодов, где ставятся куки, и вручную передавал (в курле всё). в своё время искал чтото про эмуляцию js в php но ничего путевого не нашел.
слышал про решение с использованием http://seleniumhq.org/
но как-то слабо вижу как в, скажем, 50 потоков, это происходит. И как глючит в 50 потоков))
А выставите сразу же куки нужные и передать его скрипту, никак?
JS вы не выполните, а если будет выполнятся, то это буде уже не то, что вам нужно.
>А выставите сразу же куки нужные и передать его скрипту, никак?
Никак. На этом строится защита cars.auto.ru
кто может решить задачу - в личку, плз ;)
Прокси живут по 1-2 запроса, поэтому вариант не гуд.
Так дописывайте свой браузер, в чем проблема?
Ставите условие на взаимодействие PHP и JS, получаете куки, записываете на память или куда хотите, при вызове JS куки - отдаете ее с помощью PHP.
Движков Js несколько. Главное руки прямые. И отреагировать на событие.
Актуально.
> кто может решить задачу - в личку, плз