по именам активных мусорных ботов которые имеют свои имена (как у вас уже есть).
мусорные страны (азия, арабские страны и африка, южная америка), в nginx/htaccess должен быть гео модуль.
забанить по языку, который начинается на zh (китайские анонимные скорее всего ИИ боты).
это избавит от явного мусора, снизит нагрузку, снизит роботность. но это не снизит отказы, против поведенческих ботов которые визуально выглядят как обычный браузер уже нужно юзать облачные антибот сервисы с бигдатой, локальными способами и правилами такое не определить.
Тут есть строчка |bingbot/2.0 - это получается робота поиска bing.com заблокировали?
big boy#: Блокируйте такие страницы на уровне сервера.
Объясните пожалуйста, , откуда берутся такие страницы? Это боты их сами создают или они переходят на определенные страницы, а из-за блокировки их переводит на 403? И поэтому отказ или что?
Правильный подход:
забанить на уровне сервера (nginx, htaccess):
по именам активных мусорных ботов которые имеют свои имена (как у вас уже есть).
мусорные страны (азия, арабские страны и африка, южная америка), в nginx/htaccess должен быть гео модуль.
забанить по языку, который начинается на zh (китайские анонимные скорее всего ИИ боты).
это избавит от явного мусора, снизит нагрузку, снизит роботность. но это не снизит отказы, против поведенческих ботов которые визуально выглядят как обычный браузер уже нужно юзать облачные антибот сервисы с бигдатой, локальными способами и правилами такое не определить.
Блокируйте такие страницы на уровне сервера.
это график отказов, а не роботности. у роботности вот такой заголовок
это график отказов, а не роботности. у роботности вот такой заголовок
это график отказов, а не роботности. у роботности вот такой заголовок