Что это за бот mlbot.FE762F81E2E0DCE175A3CC14F7F67611

очевидно что вот этот

IP не его.

Подсказывают что это Маинлинк, но вот не могу понять.

Он ддосит один сайт на сервере. Выключал сайт, отдавая заглушку через nginx, все равно нагрузка большая.

У кого еще такое было с ботами Маинлинка?

Такое уже не в первый раз происходит.

P.S.: Не понял за что минус в репу? Вы хоть подписывайтесь, а то выглядит как Маша Ана'ним.

бот майнлинка

поставьте ему Crawl-delay:

если не поможет, то запретите его по ip или юзер-агенту

также рекомендую позвонить в техподдержку майнлинка и описать ситуацию..))

Я его сразу и забанил т.к. другие варианты не помогли. Периодичность раз в неделю, в разное, время, в разные дни, непохоже на бота проверяющего ссылки.

P.S.: Троля пишушего (насравшего) в личку просьба не беспокоить, я не кармадрочер и ваше мнение мне глубоко до задницы. Спасибо за внимание.

Это скорей сканер уязвимостей. Под виндой не думаю что поисковики работают =)

А что за IP? Мне тоже кажется, что это бот .metadatalabs. Попробуйте: User-agent: MLBot

Disallow: /

Options +FollowSymlinks

RewriteEngine On

RewriteBase /

RewriteCond %{HTTP_USER_AGENT} ^(.*)mlbot(.*)$ [NC]

RewriteRule ^(.*)$ http://www.yandex.ru [R=301,L]

сурово......

а что делать ! )=