Неугомонный бот MegaIndex.ru/2.0

123
L
На сайте с 07.12.2007
Offline
351
#11
serg450453:
Из-за вашего беспредела еще 10000 вебмастеров заблокирует вашего бота, и тогда вы вообще не кому не будете нужны.

Бота Мегаиндекса не заблокировал только ленивый. И по Юзерагенту, и по IP подсетей хостеров, ибо с хостеровских диапазонов IP полезных пользователей на сайт быть не может априори.

anser06
На сайте с 11.03.2006
Offline
276
#12

В чем проблема этого бота? Он сжирает все страницы сайта? Съедает много страниц с кодами, отличных от 200? Съедает каждую страницу по несколько раз? Делает это за очень короткий промежуток времени? Или все вместе?

serg-smirnoff
На сайте с 23.02.2008
Offline
139
#13
anser06:
В чем проблема этого бота? Он сжирает все страницы сайта? Съедает много страниц с кодами, отличных от 200? Съедает каждую страницу по несколько раз? Делает это за очень короткий промежуток времени? Или все вместе?

Проблема в том что он борзеет

2731 136.243.36.98

3298 95.30.122.23

31645 148.251.236.167

31645 / 3298 = 9,5

То есть он почти в 10 раз больше максимально нагружающего клиента грузит сайт и соотв. сервер. За такое конечно кочергой бы по рукам. Но можно и просто прикрыть доступ на сервер как по IP так и как советуют выше.

P
На сайте с 06.01.2009
Offline
592
#14

Подскажите, пожалуйста, в какой части htacess. это надо написать? В самом низу?

SetEnvIfNoCase User-Agent ".*MegaIndex" badbingbot
Deny from env=badbingbot
Злобный Гыук
На сайте с 30.08.2007
Offline
83
#15
postavkin:
Подскажите, пожалуйста, в какой части htacess. это надо написать? В самом низу?

Можно и внизу.

SEO-api для программистов (/ru/forum/869285)
EE
На сайте с 18.09.2014
Offline
6
#16

Я считаю, что все таки у бота megaindex.ru больше плюсов чем минусов ,лично я не баню и не собираюсь, 🍿

Delysid
На сайте с 27.05.2019
Offline
131
#17

Подскажите актуальные IP адреса серверов MegaIndex.ru что бы их ботов заблокировать.

И как вообще удалить сайт из их базы и чтобы сайт больше не сканировался?

Антоний Казанский
На сайте с 12.04.2007
Offline
616
#18
Delysid #:
Подскажите актуальные IP адреса серверов MegaIndex.ru что бы их ботов заблокировать.

За 5 лет, думаю, IP-шники могли поменяться, лучше по Юзерагенту отлавливать.

Вот есть материал на эту тему.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга. Обучение автоматизации с помощью Zennoposter https://goo-gl.me/6Zypu
Delysid
На сайте с 27.05.2019
Offline
131
#19
anthony_ #:
За 5 лет, думаю, IP-шники могли поменяться

Вот мне бы IP адреса этого бота, юзер агент могут и менять..

-S
На сайте с 10.12.2006
Offline
Модератор1354
#20

В первую очередь надо блочить mail и bing, а по хорошему все, кроме Яндекса и Гугла.

Delysid #:
Вот мне бы IP адреса этого бота, юзер агент могут и менять..

Нет надобности, можно ASN поставить.

123

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий