- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Привет
Есть обычный скрипт php. curl чтоб спарсить хтмл код страници. Но, если зашел с браузера, то код отдают нормальный.
А если с php скрипта, то подсовывают разные пакости. То постер не тот, то заголовок.
Как они это проверяют? Я и с режима инкогнито зашел. Чтоб куки не было и сессий. И в скрипт все заголовки вставил один в один.
И ip адрес тот же, и все равно чего то не хватает. Даже сертификат подсунул. Не идет и все.
Сайт порнхаб
Есть обычный скрипт php. curl чтоб спарсить хтмл код страници. Но, если зашел с браузера, то код отдают нормальный.
А если с php скрипта, то подсовывают разные пакости. То постер не тот, то заголовок.
Как они это проверяют?
Требуется эмуляция браузера, curl не эмулирует ничего, он напрямую дергает, а юзеры заходят через браузер.
https://github.com/chrome-php/chrome
Версия протокола HTTPS одинаковая?
а как это проверить?
а как это проверить?
Зачем вам все это? Парсить хотите?
Требуется эмуляция браузера
Но по сути одно и то. Заголовки передали. Че еще нужно? А чего то не хватает. Что конкретно? Не думаю что нужно целую библиотеку ради этого подключать.
Зачем вам все это? Парсить хотите?
да. постер, название..
видео питон скачивает
Привет
Есть обычный скрипт php. curl чтоб спарсить хтмл код страници. Но, если зашел с браузера, то код отдают нормальный.
А если с php скрипта, то подсовывают разные пакости. То постер не тот, то заголовок.
Как они это проверяют? Я и с режима инкогнито зашел. Чтоб куки не было и сессий. И в скрипт все заголовки вставил один в один.
И ip адрес тот же, и все равно чего то не хватает. Даже сертификат подсунул. Не идет и все.
Сайт порнхаб
Как правило проверка простая - проверяется возможность выполнения js кода. Естественно запрос curl'ом никакой js код выполнить не сможет.
Решение - использование браузера в headless режиме.
да. постер, название..
видео питон скачивает
Тем более если уже есть питон - используйте selenium webdriver, чтобы забрать необходимые данные.
проверяется возможность выполнения js кода
какой js код? речь идет именно о первом запросе. и мне нужно хтмл код ее. тут js никакого нет. открываю сам браузер как просмотр исходного кода. никакие js при этом не используются
Тем более если уже есть питон - используйте selenium webdriver
временно так и сделал. но php был в разы быстрее. ничего лишнего