Неугомонный бот MegaIndex.ru/2.0

Если нагрузка только смущает - пусть ходит, если создаёт проблемы - ставьте запрет.

mamakadze, вряд ли это робот, который анализирует страницы для закупки ссылок, скорее всего это их индексатор рунета, так что можете блочить ;)

Тоже заметил. Игнорирует Crawl-delay — пускай идёт лесом. Заблочил.

DenisVS, а не могли бы вы подсказать, как именно вы его заблочили? Теперь в логах ему отдается 403 ошибка?

У меня такая же проблема с ботом от HostTracker. Он, конечно, не загружает сайт, но уже достал там каждый час крутиться. Где-то с 17 марта как минимум не вылезает.

SSilence, nginx по юзерагенту. Редирект перманентно в канализацию, которая тоже работает на меня.

Бот приходит вот с такой пометкой - megaindex.ru/?tab=linkAnalyze - а это у них анализатор каждой страницы сайта, как раз видимо и проверяют страницу перед тем как выкупить ссылку. Что то боюсь пока что банить...

Хотя сканируется 70% мусорные страницы (тэги и прочую ересь)

Вот часть лога (чуть изменил чпу страниц):

Может знает кто поподробнее?

Это User Agent сборщика внешних ссылок MegaIndex.

По поводу выкупа ссылок:

1. Биржа Links MegaIndex имеет другой User Agent

2. Но если сборщик внешних ссылок MegaIndex не сможет собрать информацию по внешним ссылкам от Вашего сайта, то в алгоритме закупки (через нашу биржу, Sape и прочие) мы такой сайт использовать не будем. Соответственно, Вы потеряете ту долю внешних ссылок, которую выкупает MegaIndex.

3. Кроме того, некоторые другие системы закупки ссылок также опираются на данные из нашего ссылочного графа, так что выкуп от них также может быть потерян в случае блокировки индексатора

Наш ссылочный граф является основным аналитическим инструментом для системы закупки

Также подтверждаю ЗАПРЕДЕЛЬНУЮ нагрузку на сервер, с которой смирится не возможно, такую нагрузку не создают ни Яндекс ни GOOGLE, ни SAPE, ни др. боты - вместе взятые.

По этому, как и другие запретил доступ к сайтам.

При этом считаю вашу работу - сбор статистических данных о ссылочной массе рунета - полезной и своевременной.

Но, в таком случае, если уж вы создаете дополнительную нагрузку, хотелось бы видеть вашу полную статистическую информацию о всех сайтах и страницах в открытом доступе и естественно нагрузка на хостинг должна быть соизмеримой.

Подскажите название бота, что бы заблокировать его по ЮзерАгенту. А то по IP не получается

---------- Добавлено 12.05.2015 в 13:06 ----------

Из-за вашего беспредела еще 10000 вебмастеров заблокирует вашего бота, и тогда вы вообще не кому не будете нужны.

Работайте над правильной работой бота, ГОП ботов никто не любит. Как правильно многие отвечают, что сумарно гугл, яндекс и др, не создают такую нагрузку как вы

Как забанить его через роботс?

Пока закрыл в .htaccess