большинству сайтов (контентные, статейники, магазины) смысла в этих ботов нет, лучше блочить чтоб не создавали нагрузку, трафа на такое они не дают.
если сайт программы, saas и прочие сервисы, есть какая то документация, то есть смысл дать, может когда нибудь и ссылку ИИ даст или если юзеры будут спрашивать вопросы по вашей программе/сервису, то ИИ может имея доступ к документации сможет рассказать юзеру как что делать.
странное наблюдение. все годы всегда наблюдаю что когда люди уходят бухать и живых людей в новый год почти нет - боты в стандартном объеме есть всегда. без выходных и праздников, они в такие дни более заметны.
парсеры контента, уязвимостей и чего угодно, подставляют рандомные рефереры и бинг и гугл (причем разные домены гугла).
