Форум Сайтостроение Веб-строительство

Что сделать с ботами в robots.txt

P
На сайте с 19.01.2008
Offline
3
puritania
666

Последние недели две на сайте активно шаряться боты из лога выдернул:

"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 5.0 (build 02094); MRSPUTNIK 2, 0, 0, 20 SW; .NET CLR 2.0.50727)"
"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; MRA 5.0 (build 02094); Seekmo 10.0.406.0)
"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"
"Mozilla/3.0 (compatible; Indy Library)"

с яхой все понятно, а вот первый кто это, больно наглый как насядет и в итоге сообщение о перегрузке с хостера прилетает. Можно как-то умерить его пыл ч/з robots.txt или по IP ему доступ закрыть ч/з .htaccess?

P1
На сайте с 04.04.2008
Offline
131
Pit-1
#1

Ну если конечно приходит с одного IP то запрети в .htaccess, я так обычно делаю.

LEOnidUKG
На сайте с 25.11.2006
Online
1776
LEOnidUKG
#2
puritania:
Последние недели две на сайте активно шаряться боты из лога выдернул: 
"Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; MRA 5.0 (build 02094); MRSPUTNIK 2, 0, 0, 20 SW; .NET CLR 2.0.50727)"

"Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; MRA 5.0 (build 02094); Seekmo 10.0.406.0)

"Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)"

"Mozilla/3.0 (compatible; Indy Library)"

с яхой все понятно, а вот первый кто это, больно наглый как насядет и в итоге сообщение о перегрузке с хостера прилетает. Можно как-то умерить его пыл ч/з robots.txt или по IP ему доступ закрыть ч/з .htaccess?

Это какой нужно СайтиЩе или Хостер-ишка, чтобы от ботов нагрузка была...

а так если один IP то в .htaccess добавить:

Deny from х.х.х.х

где х.х.х.х - это IP "бота"

✅ Мой Телеграм канал по SEO, оптимизации сайтов и серверов: https://t.me/leonidukgLIVE ✅ Качественное и рабочее размещение SEO статей СНГ и Бурж: https://getmanylinks.ru/ ✅ Настройка и оптимизация серверов https://getmanyspeed.ru/
P
На сайте с 19.01.2008
Offline
3
puritania
#3
Pit-1:
Ну если конечно приходит с одного IP то запрети в .htaccess, я так обычно делаю.

whois

83.229.157.134:

netname: SKYLINK-SSA-NET

descr: ZAO Sotovaja Sviaz Alania

83.167.112.160:

netname: SW01_NAT_POOL

descr: NAT Pool

что это за бот из Скайлинка?

puritania добавил 12.04.2008 в 14:18

LEOnidUKG:
Это какой нужно СайтиЩе или Хостер-ишка, чтобы от ботов нагрузка была...

Незнаю раньше никогда такого не было, а сейчас регулярно начали приходить уведомления

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий