- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как избежать бана со стороны Яндекса при парсинге на предмет сбора статистики по позициям?
Задача: ежедневно, в автоматическом режиме собирать статистику положения запросов в Яндексе по большому количеству сайтов.
Сбор статистики через XML не подходит из-за ограничения количества запросов. Платный XML не подходит по причине недостатка бюджета.
ROST,
1) желательно иметь русский IP
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
ROST,
1) желательно иметь русский IP
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
Спасибо, попробуем этот вариант.
2) представляйте user-agent-а как браузер (IE, Opera, FF). Случайно меняйте их версии и все будет ок.
Можете привести пример, как это реализовать?... я конечно понимаю, что вопрос из области начальной школы PHP, но все же-)
А на счет кликов яша их фиксирует. Их нужно эмулить?
А на счет кликов яша их фиксирует. Их нужно эмулить?
Что значит эмулить клики? ПРи правильном парсинге и так эмулируруется переход по ссылкам-страницам.
Можете привести пример, как это реализовать?... я конечно понимаю, что вопрос из области начальной школы PHP, но все же-)
Через сокеты.
я вот щас в яше на индексацию проверяю. за задержкой в 5 сек. не банят вроде как. хотя неудобно блин конечно.
ROST, есть окольный вариант с Яндекс.XML - можно завести несколько аккаунтов с разными IP-адресами и по истечению 1000 запросов парсить с другого.
за задержкой в 5 сек
Работал с парсером позиций с задержкой в 10 секунд:
1. Неудобно.
2. Забанили.
Yaroslav_Adv, странно. а сколько запросов было? у меня где то 5к в день. все нормально, не банят