- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как снизить ДРР до 4,38% и повысить продажи с помощью VK Рекламы
Для интернет-магазина инженерных систем
Мария Лосева
В 2023 году Одноклассники пресекли более 9 млн подозрительных входов в учетные записи
И выявили более 7 млн подозрительных пользователей
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Есть маленький скриптик, который получает серп яндекса (используется cURL). Вот делаю через прокси. Иногда все работает, а иногда яндекс банит скрипт, работающий через прокси (при том что прокси до этого проверялся проксичекером и использовался в браузере для получения той же страницы выдачи яндекса). Сразу отмечу, что по user-agent бан маловероятен, так как я его радномно подставляю из большого массива вариантов. Может яндекс палит, что куки не сохраняются скриптом, хотя с другой стороны, почему он тогда не сразу банит скрипт, работающий без прокси?
В общем кто что думает?
задержку между запросами менять пробовали?
задержку между запросами менять пробовали?
так в том то и дело, что парсит сходу - ни один запрос с прокси не проходит
может прокси не анонимные и в итоге поисковик получает исходный ip, еще бывают целые подсети ip блокированы яндексом
Я бы делал так: поставить браузер и скрипт в одинаковые условия. No cookies, одинаковый User-agent, gzip если есть и т.д.. Потом на сниффере должны быть одинаковые результаты. Возможно заголовок неполный. Если все равно продолжает банить, попробовать то же реализовать, но на чистых сокетах.
Может яндекс палит, что куки не сохраняются скриптом
а что мешает сохранять куки?
а что мешает сохранять куки?
Да вот появилась идея, связанная с этим (только там есть еще нюансы), седня ее попробую реализовать.