Есть толк от Applebot, PetalBot?

1 23
S3
На сайте с 01.11.2023
Offline
3
#21
semenov #:

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36

На русскоязычных сайтах есть с него трафик вообще?

мелочь с него идет 0-2 уника)

OnOf
На сайте с 09.12.2014
Offline
40
#22
sergey384 #:

вы про амазон? зачем тратить время, что то выбирать? баните все подсети и спите спокойно.

и про амазон в том числе, я иногда амазон оставляю где-то на треть, это имеет смысл если на сайте висит стата от поисковиков (но это не точно), просто чисто приятней кода трафа больше и коллеги говорят что ПФ и в всё такое в общем.

всё забанить чревато потерями трафика, тут надо избирательно - делал тесты гда 3 назад), тут только статистика в помощь, на мой взгяд статистика полезная штука. Если мешает - убрал. всё.

P
На сайте с 09.09.2007
Offline
131
pzn
#23
LEOnidUKG #:

Ну да, в ноябре прошлого года всё случилось. Чего они своих ботов не выключают, не понятно. Возможно богом забытые сервера работают и никто их не трогает.

получается, можно смело убирать Mail.RU_Bot из разрешающего правила CloudFlare?

S3
На сайте с 01.11.2023
Offline
3
#24
OnOf #:

и про амазон в том числе, я иногда амазон оставляю где-то на треть, это имеет смысл если на сайте висит стата от поисковиков (но это не точно), просто чисто приятней кода трафа больше и коллеги говорят что ПФ и в всё такое в общем.

всё забанить чревато потерями трафика, тут надо избирательно - делал тесты гда 3 назад), тут только статистика в помощь, на мой взгяд статистика полезная штука. Если мешает - убрал. всё.

вам больше заняться нечем? какие потери трафика если вы не связаны с амазон ничем? или часть вашего трафика это люди кто юзает впн с серваков амазона и заходит к вам на сайт?

S
На сайте с 28.10.2005
Offline
296
#25
А Байду бота наоборот не видно стало, а раньше просто досил. Перестал по ру сайтам ходить?
AD
На сайте с 05.05.2007
Offline
240
#26
у меня проблема сейчас только с Гуглом, их ip на 192 .много цифр. могут 10К за пару минуту дать, но на пару минут, потом отпускает, че за хрень не пойму. Связано наверное с Адсенсом. Еще Yandex достает, прикинте англ. сайты сканирует, но его просто в бан оправил.
WS
На сайте с 01.11.2008
Offline
135
#27
то, что и гугл и яндекс  и другие боты игнорируют директивы crawl delay приводит к серьёзным проблемам, более того, мне кажется что дешёвые хостинги с тысячами сайтов на борту могут ради поддержки своей работоспособности или временно  или полностью банить ботов, то что теперь гугл ддосит жертву до посинения, пока не получит 503 ошибку это вообще жесть, а когда добавляются ещё такие же боты-отморозки, то вообще кажется, что это делается специально, чтобы убрать конкурентов своим сервисам, неужели проггеры-недоумки, создающие этих ботов, не могут допетрить, что надо не только проверять насколько часто они долбятся к определённому домену, но и к определённому IP, потому что на этом IP может сидеть много доменов
1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий