- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Зачем RIPE, whois и прочее, для большинства ботов от ПС проверка вполне может ограничиться вычислением хостнейма по айпишке.
Для пхп это функция gethostbyaddr(). У гугла хостнейм оканчивается на "googlebot.com", у яши - yandex.(ru|com), у яху - yahoo.net, у мылру - mail.ru, бинг - search.msn.com.
Найденные правильные айпишки настоящих можно сразу в локальный вайтлист заносить, чтобы второй раз не резолвить, аналогично с явно левыми ботами.
У меня такая система работает на некоторых сайтах и вполне успешно банит много левых ботов, которые прикидываются яшей и прочими гуглботами.
Для пхп это функция gethostbyaddr(). У гугла хостнейм оканчивается на "googlebot.com", у яши - yandex.(ru|com), у яху - yahoo.net, у мылру - mail.ru, бинг - search.msn.com.
Хост в обратной зоне можно прописать какой угодно.
;9854977']Хост в обратной зоне можно прописать какой угодно.
Это заметно сложнее, нежели UA подменить в запросе. Более того, это не везде возможно в принципе. Например, когда качают через прокси или с хостингов, которые не позволяют птр вбить.
Этот способ вполне работает и его рекомендуют сами поисковики. Например, яндекс: http://help.yandex.ru/webmaster/?id=1076102
mlu, проверяйте сколько вам угодно
http://webmaster.yandex.ru/spellcheck.xml?checkurl=www.allave.ru
:)
mlu, проверяйте сколько вам угодно
http://webmaster.yandex.ru/spellcheck.xml?checkurl=www.allave.ru
:)
РДС и соломоно из-за 2% параноиков так заморачиваться не станут :)
Appassionato, таких сервисов много :)
;9854977']Хост в обратной зоне можно прописать какой угодно.
Можно сделать второй запрос, разрезолвить обратную зону и проверить совпадение IP.
mlu, проверяйте сколько вам угодно
Яндекс сам вычислит и забанит IP за превышение количества обращений c него.
PS: Способы защиты - есть, достаточно простые и эффективные. Но выкладывать их в паблик - глупо, тк сразу придётся городить новые и сложные способы.
Яндекс сам вычислит и забанит IP за превышение количества обращений c него.
вы это расскажите тем кто парсит яндекс в промышленных масштабах :)
Можно сделать второй запрос, разрезолвить обратную зону и проверить совпадение IP.
Два резолва на 1 посетителя — довольно накладно.
Ну и плюс ко всему, у одного хоста может быть несколько айпишников.
Можно сделать второй запрос, разрезолвить обратную зону и проверить совпадение IP.
Поэтому парсеры не заморачиваются с хостами, оставляя только чистый ip.
Подсеть просто так не подделаешь.
Ну, не просто так. К примеру, лир выделил клиенту отдельный блок, а у клиента фирма называется "Йандекс LLC", с офисом якобы на Льва Толстого (или где там). Соответственно, хуизы для выделенного блока оформляются, как идентичные яндексовским (в полном соответствии с регламентом и со всеми вытекающими).
Что будем делать? Технические поля тоже можно оформить соответствующе, не сомневайтесь (это я ещё не самую серую схему предложил, не говоря о совсем чорных-пречорных).
блокирование диапазона провайдера
Этак можно всю Корбину какую-нить заблочить. Не лучший вариант.
вы это расскажите тем кто парсит яндекс в промышленных масштабах
:)