Mik Foxi

думаешь тут все совсем нищеброды? если адсенс или ютуб может приносить бабки которые покроют налоги и 100$ бухгалтера, то чего все бросать.

им без разница упрашивания, они понимают только силу )) роботс это для совсем белых ботов (их всего 3: гугл яндекс бинг). остальным плевать на эти рекомендации. не надо роботс засорять и раздувать. левых ботов сразу банить.

не поиск гугла. а скрипты которые на сайте подключены с серверов гугла. самое частое это: рекапча, гугл шрифты, аналитикс. 

Рекапча может тормозить при блокировках РКН. Все это внешнее гугловское лучше убрать (гугл шрифты тоже). 

они были нежизнеспособны еще до появления ИИ.

большинству сайтов (контентные, статейники, магазины) смысла в этих ботов нет, лучше блочить чтоб не создавали нагрузку, трафа на такое они не дают.

если сайт программы, saas  и прочие сервисы, есть какая то документация, то есть смысл дать, может когда нибудь и ссылку ИИ даст или если юзеры будут спрашивать вопросы по вашей программе/сервису, то ИИ может имея доступ к документации сможет рассказать юзеру как что делать.

странное наблюдение. все годы всегда наблюдаю что когда люди уходят бухать  и живых людей в новый год почти нет - боты в стандартном объеме есть всегда. без выходных и праздников, они в такие дни более заметны.

парсеры контента, уязвимостей и чего угодно, подставляют рандомные рефереры и бинг и гугл (причем разные домены гугла).

в грузии тоже нет. черное море это грязная помойка, считать это морем язык не поворачивается, в таком не купаются )))

современные это какие? они все устаревшие кроме MAX.

никакие сервисы гугл русским не блокировал уже 3 года. не рассказывай сказки ) в самом начале санкций ушли платные сервисы и все.