В логах access сервера можно посмотреть, что в итоге приходит на сайт. Если бы читали ветку про Cloudflare, то там обсуждалось это. Выше Skip ставится правило с блоком.
Одна из базовых настроек для CF чтобы ПС Я/Г боты сканировали сайт.
Таким образом не только боты поисковиков будут иметь доступ к сайту, но и целая толпа полезных с точки зрения Клауда ботов: Амазонбот, Ашрефсбот, Клаудибот, Маджестик и прочее, что забьет сервер пачкой бесполезных подключений.
tripsik#: пока это рекоммендация но скоро станет обязательной и ркн всех российских хостеров легко заставит ее исполнять
Это не рекомендация. Это выдернутое журналистами ради хайпа мнение какого-то собеседника о том, что в списке ботов есть ИИ бот Гугла. О блокировке поисковых ботов Гугла там и рядом не стояло. Мнение собеседника основано на том, что в этом эксперименте Гугла пока что нет возможности как-то отключить этого бота, и в целом запрет на его использование в роботс ни разу не приводит к тому, что поисковик перестает использовать контент сайта для обучения своего ИИ.
А сам список - это список ботов какого-то чувака из ЮАР с Гитхаб.
Развели флуда на 12 страниц.
Токен Google-Extended для файла robots.txt указывает сканерам Google включить сайт в поиск, но не разрешает использовать сайт для обучения системам ИИ, подобным тем, которые лежат в основе чат-бота Bard и Vertex AI, в том числе и для будущих поколений ИИ-моделей компании.
seonick : Были показатели от 80 и выше по мобильной версии и до 99 по десктопу.
У вас там полотно с перечислением ошибок что с телефона что с компа такое, что в экран не влазит.
Может, до этого работал какой-то супер кэш от битриксов (с быстрой подгрузкой первого экрана, а остальной тормоз уже тормозил фоном), и оно так не бросалось в глаза. Потом оно отвалилось, и оказалось что сайт - еле шевелится.
Например, в мобильной версии в окошко 200*300 в главном экране (главный баннер) грузится футбольное поле разрешением 1500*1000. И весом 1 мб. А есть изображения разрешением 3500px и весом 2.5 мб. Картинки вообще в jpg. Опять же, в главном экране еще и слайдер, как понимаю с целой кучей таких же тяжелых тормознутых изображений, управляемых тормозящим скриптом. Полный вес главной - около 20 мб. Основные тормоза из-за большого количества скриптов, стилей и проч, общей запущенности и неоптимизированности сайта.
Ну и далее по списку, из разряда если бы это была лошадь дешевле было бы ее пристрелить.
sergv#: p.s. проблемы далеко не у всех. У кого-то никаких изменений, у кого-то пропажи.
Спорить не буду, могу говорить только за себя. Лично у меня ни один сайт не пропал из вебмастера. Но у меня все прописано именно в ДНС, причем не хостерском, а от Cloudflare.
Yroslav57#: Как можно превысить нагрузку по трафику если трафика 3 месяца ноль. Генеренки с нейросетей нет. Все сделано ручками. Жаль выбрасывать - 100 000 баксов он точно подбросил с воздуха.
Да, были времена. Прочел пару статей за 2012 год. Вы практически на десятилетие обогнали ИИ в умении писать абсолютно пустые и бессмысленные наборы букв ни о чем, заливать воду в водную воду.
Сейчас для того, что вы ранее делали вручную, достаточно написать пару промптов для чатжпг. Никто и не отличит, это вы написали, или нейронка. Соответственно, ИМХО, тема умерла. Да и вложения ваши давно окупились. Попробуйте перенести сайт в нормальную локацию и к нормальному хостеру, возможно, пару долларов оно еще сможет принести.
В Польше и политики нет, хорошая шутка. Сайт хостера сразу на украинском открывается. А так да, никаких догадок почему же они РФ заблокировали для своих клиентов 🤣
Сайт странный, на генеренку с нейросетей похоже. Даже если бы хостер не решил за вас, кому показывать сайт, а кому нет, все равно бы повылетало из выдачи.
А если на сайте есть просто прямые заходы, явно бота кто то чему то учит, как таких запретить?
Так и загуглите: нагул профиля поведенческими ботами.
При этом в Cloudflare в логах WAF я не вижу этих посещений на эту страницу (кроме своих)
Они есть в access логах сервера?
а как проверить доступен ли сайт для них?
В логах access сервера можно посмотреть, что в итоге приходит на сайт.
Если бы читали ветку про Cloudflare, то там обсуждалось это. Выше Skip ставится правило с блоком.
Одна из базовых настроек для CF чтобы ПС Я/Г боты сканировали сайт.
Таким образом не только боты поисковиков будут иметь доступ к сайту, но и целая толпа полезных с точки зрения Клауда ботов: Амазонбот, Ашрефсбот, Клаудибот, Маджестик и прочее, что забьет сервер пачкой бесполезных подключений.
пока это рекоммендация но скоро станет обязательной и ркн всех российских хостеров легко заставит ее исполнять
Это не рекомендация. Это выдернутое журналистами ради хайпа мнение какого-то собеседника о том, что в списке ботов есть ИИ бот Гугла. О блокировке поисковых ботов Гугла там и рядом не стояло. Мнение собеседника основано на том, что в этом эксперименте Гугла пока что нет возможности как-то отключить этого бота, и в целом запрет на его использование в роботс ни разу не приводит к тому, что поисковик перестает использовать контент сайта для обучения своего ИИ.
А сам список - это список ботов какого-то чувака из ЮАР с Гитхаб.
Развели флуда на 12 страниц.
Токен Google-Extended для файла robots.txt указывает сканерам Google включить сайт в поиск, но не разрешает использовать сайт для обучения системам ИИ, подобным тем, которые лежат в основе чат-бота Bard и Vertex AI, в том числе и для будущих поколений ИИ-моделей компании.Да нет, многие пришли по моим фразам. Даи карточки товаров у меня конкретные - все написано с картинками.
Давно уже ботофермы и через поиск гуляют.
Были показатели от 80 и выше по мобильной версии и до 99 по десктопу.
У вас там полотно с перечислением ошибок что с телефона что с компа такое, что в экран не влазит.
Может, до этого работал какой-то супер кэш от битриксов (с быстрой подгрузкой первого экрана, а остальной тормоз уже тормозил фоном), и оно так не бросалось в глаза. Потом оно отвалилось, и оказалось что сайт - еле шевелится.
Например, в мобильной версии в окошко 200*300 в главном экране (главный баннер) грузится футбольное поле разрешением 1500*1000. И весом 1 мб. А есть изображения разрешением 3500px и весом 2.5 мб.
Картинки вообще в jpg.
Опять же, в главном экране еще и слайдер, как понимаю с целой кучей таких же тяжелых тормознутых изображений, управляемых тормозящим скриптом. Полный вес главной - около 20 мб. Основные тормоза из-за большого количества скриптов, стилей и проч, общей запущенности и неоптимизированности сайта.
Ну и далее по списку, из разряда если бы это была лошадь дешевле было бы ее пристрелить.
p.s. проблемы далеко не у всех. У кого-то никаких изменений, у кого-то пропажи.
Спорить не буду, могу говорить только за себя. Лично у меня ни один сайт не пропал из вебмастера. Но у меня все прописано именно в ДНС, причем не хостерском, а от Cloudflare.
Как можно превысить нагрузку по трафику если трафика 3 месяца ноль. Генеренки с нейросетей нет. Все сделано ручками. Жаль выбрасывать - 100 000 баксов он точно подбросил с воздуха.
Да, были времена. Прочел пару статей за 2012 год. Вы практически на десятилетие обогнали ИИ в умении писать абсолютно пустые и бессмысленные наборы букв ни о чем, заливать воду в водную воду.
Сейчас для того, что вы ранее делали вручную, достаточно написать пару промптов для чатжпг. Никто и не отличит, это вы написали, или нейронка.
Соответственно, ИМХО, тема умерла. Да и вложения ваши давно окупились.
Попробуйте перенести сайт в нормальную локацию и к нормальному хостеру, возможно, пару долларов оно еще сможет принести.
В Польше и политики нет, хорошая шутка. Сайт хостера сразу на украинском открывается. А так да, никаких догадок почему же они РФ заблокировали для своих клиентов 🤣
Сайт странный, на генеренку с нейросетей похоже. Даже если бы хостер не решил за вас, кому показывать сайт, а кому нет, все равно бы повылетало из выдачи.