- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
На одном сайте использую Яндекс.xml для поиска по сайту, лимита 1000 запросов в сутки хватает с головой. Недавно посетители начали жаловаться, что поиск сломался. Стал проверять и обнаружил, что бот Mail.Ru/1.0 с дикой скоростью дергает одну и ту же страницу с поисковым запросом (yandex.php?query=запрос). Проверил IP бота - действительно mail.ru-шные.
Для наглядности статистика (дата - количество заходов бота на страницу поиска).
2010-01-22 11
2010-01-23 438
2010-01-26 392
2010-02-06 1153
2010-02-07 2780
2010-02-09 1566
2010-02-11 8452
2010-02-12 14
2010-02-19 4220
2010-03-09 5402
2010-03-11 1706
2010-03-12 7211
Это нормально или как?
З.Ы. Добавил страницу в robots.txt, сегодня бот не появлялся.
У меня меиловский бот регулярно опускал сервак в даун, пока не запретил ему доступ нафиг
У меня меиловский бот регулярно опускал сервак в даун, пока не запретил ему доступ нафиг
Сам заметил неделю назад, что активность его стала чрезмерной, решил не банить его пока, но мысли такие были в голове.
Как Вы его забанили через диапазон ip, через ipfw?
а crawl-delay на него не действует?
а crawl-delay на него не действует?
Действует.
Улыбнуло название темы - "Бешеный бот Mail.ru")))
а задержки действительно должны работать
ну как мне кажется полностью банить бота это крайние меры. в случае с ТС, я бы порекомендовал действительно закрыть от него те страницы, по которым он делает максимальное неудобство. то есть тот же Яндекс.xml, либо если при индексации изображений идет большая нагрузка на серв
У меня вроде на парочке сдл не наблюдалось такой "бешенной" активности)
Бот mail.ru не следует robots.txt. Приходится его банить.
Так-так-так,
вот оно что... а подробнее для не особо одаренных.
Если crawl-delay на него действует то подскажите как правильно прописать.
Они еще тестируют свой поиск, поэтому и такие косяки. /ru/forum/comment/6556287