Неугомонный бот MegaIndex.ru/2.0

12 3
mamakadze
На сайте с 25.01.2012
Offline
73
10678

Последнее время заметил, что на мох сайтах очень активно пасется бот MegaIndex.ru/2.0

За сутки файл с логами занимает порядка 30 мб и примерно 50% это заходы этого бота на разные сайты.

Сайты участвуют в нескольких биржах ссылок в том числе sape.

Сервер хоть и более менее мощный, но когда заходит этот бот нагрузка значительно возрастает.

Подскажите плиз, что с ним делать, забанить или оставить?

Боюсь меньше заявок будет на размещение ссылок на сайтах, так как я понимаю он постоянно анализирует страницы сайтов, но вот выкупает ли вообще что-то, не представляю даже как проверить...

Zegeberg
На сайте с 30.09.2010
Offline
253
#1

Если нагрузка только смущает - пусть ходит, если создаёт проблемы - ставьте запрет.

Ссылки с форумов, блогов и соц сетей (http://forumok.com/p/c1710b6b/) Живой текст для сайта/магазина//Стихи с поздравлением Аудит, возвращение трафика на сайты - личка, скайп Zegeberg.
IBakalov
На сайте с 05.10.2011
Offline
207
#2

mamakadze, вряд ли это робот, который анализирует страницы для закупки ссылок, скорее всего это их индексатор рунета, так что можете блочить ;)

Ты SEOшник/Дорвейщик/Вебмастер из Нижнего Новгорода? Вступай в группу на facebook.com (https://www.facebook.com/groups/1541112245943308/), будем устраивать offline-сходки.
DV
На сайте с 01.05.2010
Offline
644
#3

Тоже заметил. Игнорирует Crawl-delay — пускай идёт лесом. Заблочил.

VDS хостинг ( http://clck.ru/0u97l ) Нет нерешаемых задач ( https://searchengines.guru/ru/forum/806725 ) | Перенос сайтов на Drupal 7 с любых CMS. ( https://searchengines.guru/ru/forum/531842/page6#comment_10504844 )
S
На сайте с 16.10.2009
Offline
67
#4

DenisVS, а не могли бы вы подсказать, как именно вы его заблочили? Теперь в логах ему отдается 403 ошибка?

У меня такая же проблема с ботом от HostTracker. Он, конечно, не загружает сайт, но уже достал там каждый час крутиться. Где-то с 17 марта как минимум не вылезает.

DV
На сайте с 01.05.2010
Offline
644
#5

SSilence, nginx по юзерагенту. Редирект перманентно в канализацию, которая тоже работает на меня.

mamakadze
На сайте с 25.01.2012
Offline
73
#6

Бот приходит вот с такой пометкой - megaindex.ru/?tab=linkAnalyze - а это у них анализатор каждой страницы сайта, как раз видимо и проверяют страницу перед тем как выкупить ссылку. Что то боюсь пока что банить...

Хотя сканируется 70% мусорные страницы (тэги и прочую ересь)

Вот часть лога (чуть изменил чпу страниц):

78.46.174.55 - - [06/Apr/2015:22:17:05 +0300] "GET /archives/tratata HTTP/1.1" 200 5576 "-" "Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +https://www.megaindex.ru/?tab=linkAnalyze)"
144.76.63.35 - - [06/Apr/2015:22:17:05 +0300] "GET /2013/11/tratatata/ HTTP/1.1" 200 21024 "-" "Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +https://www.megaindex.ru/?tab=linkAnalyze)"
78.46.174.55 - - [06/Apr/2015:22:17:06 +0300] "GET /archives/tag/\xtratatata HTTP/1.1" 200 5646 "-" "Mozilla/5.0 (compatible; MegaIndex.ru/2.0; +https://www.megaindex.ru/?tab=linkAnalyze)"

Может знает кто поподробнее?

Dj Blaze
На сайте с 09.06.2005
Offline
110
#7

Это User Agent сборщика внешних ссылок MegaIndex.

По поводу выкупа ссылок:

1. Биржа Links MegaIndex имеет другой User Agent

2. Но если сборщик внешних ссылок MegaIndex не сможет собрать информацию по внешним ссылкам от Вашего сайта, то в алгоритме закупки (через нашу биржу, Sape и прочие) мы такой сайт использовать не будем. Соответственно, Вы потеряете ту долю внешних ссылок, которую выкупает MegaIndex.

3. Кроме того, некоторые другие системы закупки ссылок также опираются на данные из нашего ссылочного графа, так что выкуп от них также может быть потерян в случае блокировки индексатора

Наш ссылочный граф является основным аналитическим инструментом для системы закупки

merser
На сайте с 21.06.2005
Offline
138
#8

Также подтверждаю ЗАПРЕДЕЛЬНУЮ нагрузку на сервер, с которой смирится не возможно, такую нагрузку не создают ни Яндекс ни GOOGLE, ни SAPE, ни др. боты - вместе взятые.

По этому, как и другие запретил доступ к сайтам.

При этом считаю вашу работу - сбор статистических данных о ссылочной массе рунета - полезной и своевременной.

Но, в таком случае, если уж вы создаете дополнительную нагрузку, хотелось бы видеть вашу полную статистическую информацию о всех сайтах и страницах в открытом доступе и естественно нагрузка на хостинг должна быть соизмеримой.

Заработок на форуме (http://linkum.ru/invite/6c20a3ad7df3789ce65e0ec68dfe847d/)
serg450453
На сайте с 22.04.2011
Offline
132
#9

Подскажите название бота, что бы заблокировать его по ЮзерАгенту. А то по IP не получается

---------- Добавлено 12.05.2015 в 13:06 ----------

Dj Blaze:
Наш ссылочный граф является основным аналитическим инструментом для системы закупки

Из-за вашего беспредела еще 10000 вебмастеров заблокирует вашего бота, и тогда вы вообще не кому не будете нужны.

Работайте над правильной работой бота, ГОП ботов никто не любит. Как правильно многие отвечают, что сумарно гугл, яндекс и др, не создают такую нагрузку как вы

Заработай на ссылках или улучш ими позиции здесь (http://www.rotapost.ru/?a=giribi) и здесь (http://gogetlinks.net/?inv=ptx6m7) Покупай или продавай трафик здесь (http://recreativ.ru/?r=5794), просто попробуй
_alk0g0lik_
На сайте с 20.08.2006
Offline
307
#10

Как забанить его через роботс?

Пока закрыл в .htaccess

SetEnvIfNoCase User-Agent ".*MegaIndex" badbingbot
Deny from env=badbingbot
Я очень люблю вкусные рецепты (https://povar24.info) квашеной капусты (https://kvashenaya-kapusta.ru/) и салат оливье (https://salatolive.ru/).
12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий