facebookexternalhit

Посмотрел, у меня 8.16k было запросов со скоростью 11.57mb, причём днём началось.  😎

Почитал я разную информацию в интернете про externalhit_uatext.php,

суть такая - сканированием занимается сам FaceBook,

полностью сканируют сайты для получения бизнес информации и аналитики а так же полностью сливают сайты для своего ИИ т.е. для своего GPT чата.

Причём игнорируют файл robots.txt и невозможно настроить частоту сканирования, т.е. нагло сливают всю информацию с сайтов себе.

Если с ними работают новостные сайты и блокируют сканирование со сливом информации, то facebook снижает переходы на эти сайты.

Да уж, ты просто гений! Гуглить я и сам умею. Зачем отвечаешь на сообщение, умник, если не можешь нормально, по-человечески помочь? Ты в курсе, что не все люди шарят в этой теме? И я уже знаю, как заблокировать поисковых ботов через .htaccess, но я не знаю, какое имя у этого бота, в поддержке мне сказали, что если в имени нет слова bot, значит это может быть другое устройство или пользователь. И что именно прописывать в  .htaccess? В твоем гугле об этом не сказано! Короче если не можешь и не хочешь помочь, то просто иди мимо, че лезешь!

Так у этого бота в юзер-агенте есть  facebookexternalhit... По нему и блокируйте.

Заодно и chatgpt, тоже не менее активно лезет на сайты.

Понял, спасибо.

Получается так? SetEnvIfNoCase User-Agent "facebookexternalhit" bad_bot 

Вроде с ^ надо: "^facebookexternalhit"

Ну и соответственно у вас болжно быть прописано, что с этим  bad_bot делать :)