Они есть в access логах сервера?
а как проверить доступен ли сайт для них?
В логах access сервера можно посмотреть, что в итоге приходит на сайт.Если бы читали ветку про Cloudflare, то там обсуждалось это. Выше Skip ставится правило с блоком.
Одна из базовых настроек для CF чтобы ПС Я/Г боты сканировали сайт.
Таким образом не только боты поисковиков будут иметь доступ к сайту, но и целая толпа полезных с точки зрения Клауда ботов: Амазонбот, Ашрефсбот, Клаудибот, Маджестик и прочее, что забьет сервер пачкой бесполезных подключений.
Это не рекомендация. Это выдернутое журналистами ради хайпа мнение какого-то собеседника о том, что в списке ботов есть ИИ бот Гугла. О блокировке поисковых ботов Гугла там и рядом не стояло. Мнение собеседника основано на том, что в этом эксперименте Гугла пока что нет возможности как-то отключить этого бота, и в целом запрет на его использование в роботс ни разу не приводит к тому, что поисковик перестает использовать контент сайта для обучения своего ИИ.
А сам список - это список ботов какого-то чувака из ЮАР с Гитхаб.
Развели флуда на 12 страниц.
Да нет, многие пришли по моим фразам. Даи карточки товаров у меня конкретные - все написано с картинками.
Давно уже ботофермы и через поиск гуляют.
У вас там полотно с перечислением ошибок что с телефона что с компа такое, что в экран не влазит.
Может, до этого работал какой-то супер кэш от битриксов (с быстрой подгрузкой первого экрана, а остальной тормоз уже тормозил фоном), и оно так не бросалось в глаза. Потом оно отвалилось, и оказалось что сайт - еле шевелится.
Например, в мобильной версии в окошко 200*300 в главном экране (главный баннер) грузится футбольное поле разрешением 1500*1000. И весом 1 мб. А есть изображения разрешением 3500px и весом 2.5 мб.Картинки вообще в jpg.Опять же, в главном экране еще и слайдер, как понимаю с целой кучей таких же тяжелых тормознутых изображений, управляемых тормозящим скриптом. Полный вес главной - около 20 мб. Основные тормоза из-за большого количества скриптов, стилей и проч, общей запущенности и неоптимизированности сайта.
Ну и далее по списку, из разряда если бы это была лошадь дешевле было бы ее пристрелить.
Спорить не буду, могу говорить только за себя. Лично у меня ни один сайт не пропал из вебмастера. Но у меня все прописано именно в ДНС, причем не хостерском, а от Cloudflare.
Да, были времена. Прочел пару статей за 2012 год. Вы практически на десятилетие обогнали ИИ в умении писать абсолютно пустые и бессмысленные наборы букв ни о чем, заливать воду в водную воду.
Сейчас для того, что вы ранее делали вручную, достаточно написать пару промптов для чатжпг. Никто и не отличит, это вы написали, или нейронка.Соответственно, ИМХО, тема умерла. Да и вложения ваши давно окупились.Попробуйте перенести сайт в нормальную локацию и к нормальному хостеру, возможно, пару долларов оно еще сможет принести.
В Польше и политики нет, хорошая шутка. Сайт хостера сразу на украинском открывается. А так да, никаких догадок почему же они РФ заблокировали для своих клиентов 🤣
Сайт странный, на генеренку с нейросетей похоже. Даже если бы хостер не решил за вас, кому показывать сайт, а кому нет, все равно бы повылетало из выдачи.
Так по идее должно блочить или выкидывать капчу при любом переходе внутри сайта.
