Форум Поисковые системы Прочие поисковики

Бешеный бот Mail.ru

123
S
На сайте с 22.03.2010
Offline
1
Strategic
#11

С такими косяками боты должны дома сидеть, а не прохожих за штанины кусать. Там колхозная шарашка или нормальные IT-инженеры работают?

Как вообще понимать, что у робота, пришедшего с mail.ru, в useragent не указано, что это бот? Просматривал список банов, увидел сидящего там бота, родом с мейл.ру. Причём robots.txt он вообще не запрашивал. Расцениваю этого робота как зловреда.

Onee
На сайте с 22.02.2010
Offline
25
Onee
#12

Аналогичная ситуация, избавился от него...

Рисую красивые макеты под заказ!
KR
На сайте с 16.03.2010
Offline
44
kane_ru
#13
Fidepp:
Так-так-так,
Если crawl-delay на него действует то подскажите как правильно прописать.

mail.ru - достал мягко говоря

User-agent: Mail.ru

Disallow: /*

SEO блог (http://www.kane.ru/) (домашняя страничка)
[Удален]
#14
kane_ru:
User-agent: Mail.ru
Disallow: /*

Отличный совет совсем не в тему.

http://help.yandex.ru/webmaster/?id=996567#1022359

R_Tem
На сайте с 21.08.2008
Offline
137
R_Tem
#15
kane_ru:
mail.ru - достал мягко говоря

User-agent: Mail.ru
Disallow: /*

я как раз утром такое прописал в роботсе.

посмотрим как теперь нагрузка на ВПС изменится. 🙅

F
На сайте с 13.11.2009
Offline
251
foran
#16

ко мне бот майла ни разу не заходил еще, как gogo повесили. Что только не пробовал, не получается его загнать. Ни одной страницы в индексе нет (

R_Tem
На сайте с 21.08.2008
Offline
137
R_Tem
#17

Отпишусь о результате, после запрета Бота:

Теперь стабильная нагрузка на ВПС 20%

когда заходил бот, она прыгала 5 раз в день до 60%, иногда до 100% и вешала ВПС.

Разница ощутима.

DO
На сайте с 27.03.2010
Offline
0
Dmitry Ostroglyad
#18

Реально, мейлРУ напрягает, и чем дальше тем хуже.

Конкурсы и заработок, раскрутка сайтов! (www.mail.wm-vselennay.com)
[Удален]
#19
Dmitry Ostroglyad:
Реально, мейлРУ напрягает

просто Вы не знаете как его приготовить ))

sashka_
На сайте с 27.01.2010
Offline
103
sashka_
#20
Kpd:
На одном сайте использую Яндекс.xml для поиска по сайту, лимита 1000 запросов в сутки хватает с головой. Недавно посетители начали жаловаться, что поиск сломался. Стал проверять и обнаружил, что бот Mail.Ru/1.0 с дикой скоростью дергает одну и ту же страницу с поисковым запросом (yandex.php?query=запрос). Проверил IP бота - действительно mail.ru-шные.
Для наглядности статистика (дата - количество заходов бота на страницу поиска).

2010-01-22 11
2010-01-23 438
2010-01-26 392
2010-02-06 1153
2010-02-07 2780
2010-02-09 1566
2010-02-11 8452
2010-02-12 14
2010-02-19 4220
2010-03-09 5402
2010-03-11 1706
2010-03-12 7211

Это нормально или как?

З.Ы. Добавил страницу в robots.txt, сегодня бот не появлялся.

ммм ... а не судьба сделать кеширование , и при повторном одинаковом запросе из кеша отдавать страницу ))

Знаю PHP, JS, jQuery. Помощь для вашего сайта. (/ru/forum/840509).
123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий