- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как избежать бана со стороны Яндекса при парсинге на предмет сбора статистики по позициям?
Задача: ежедневно, в автоматическом режиме собирать статистику положения запросов в Яндексе по большому количеству сайтов.
Сбор статистики через XML не подходит из-за ограничения количества запросов. Платный XML не подходит по причине недостатка бюджета.
ROST,
1) желательно иметь русский IP
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
ROST,
1) желательно иметь русский IP
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
Спасибо, попробуем этот вариант.
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
Можете привести пример, как это реализовать?... я конечно понимаю, что вопрос из области начальной школы PHP, но все же-)
А на счет кликов яша их фиксирует. Их нужно эмулить?
А на счет кликов яша их фиксирует. Их нужно эмулить?
Что значит эмулить клики? ПРи правильном парсинге и так эмулируруется переход по ссылкам-страницам.
Можете привести пример, как это реализовать?... я конечно понимаю, что вопрос из области начальной школы PHP, но все же-)
Через сокеты.
я вот щас в яше на индексацию проверяю. за задержкой в 5 сек. не банят вроде как. хотя неудобно блин конечно.
ROST, есть окольный вариант с Яндекс.XML - можно завести несколько аккаунтов с разными IP-адресами и по истечению 1000 запросов парсить с другого.
за задержкой в 5 сек
Работал с парсером позиций с задержкой в 10 секунд:
1. Неудобно.
2. Забанили.
Yaroslav_Adv, странно. а сколько запросов было? у меня где то 5к в день. все нормально, не банят