Или выпускать самоподписанные сертификаты т.к. у клауда свои и всё будет нормально работать
Или добавлять поддомен как новый сайт в туже директорию главному сайту и для них выпуск сертификата будет по файлу, а не по DNS
Или подключать модуль клауда, который есть в ISPManager 6 и работать с ним Документация ispmanager 6 lite, pro, host : Интеграция с Cloudflare
Нормальные боты, это те, которые приносят пользу и выгоду владельцу сайта. Всё остальное это "мусор" поглощающий ресурсы сайта и сервера для своих нужд.
Ну да, в ноябре прошлого года всё случилось. Чего они своих ботов не выключают, не понятно. Возможно богом забытые сервера работают и никто их не трогает.
А этого товарища забыли выключить что-ли? Тоже активно шарится
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Target/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Я скинул основной список, который явные УГ, которые ничего не даёт. Всё остальное уже можете добавлять по своему усмотрению.
Их очень много, но у меня есть список самых популярных, код для nginx:
if ($http_user_agent ~* (Applebot|ClaudeBot|GeedoBot|keys-so-bot|GPTBot|Bytespider|Amazonbot|proximic|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|megaindex|baiduspider|linkpadbot|yahoo|msnbot|bingpreview|dotbot|uptimerobot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|admantx|GetIntent|CriteoBot|BLEXBot|python-requests|PetalBot|seostar|zgrab|Go-http-client|CensysInspect|paloaltonetworks|SiteAnalyzerbot|dataforseo) ) {
return 444;
}
XML от ЦБ уже не актуальный?
Недоступность сайта, некорректная работа, сторонние скрипты мешающие работе и подобные малограмотные методы просто отразятся в отчете толокера. Для высоких позиций должны быть положительные оценки. Если было инициировано провести 100 оценок и они не были проведены - оценку ты провалил.
Открытие сайта в iframe это вопрос безопасности в первую очередь. И может регулироваться на уровне сервера, благо такие настройки уже давно есть.
Например, этот форум нельзя открыть в iframe по правилам Content Security Policy и таких сайтов много.
Я бы по умолчанию вообще запретил открывать сайты внешние (когды урлы не совпадают) в iframe БЕЗ явного разрешения и это вполне логично.
document.querySelectorAll('classelementsayta')
Это массив данных, нужно все элементы перебрать и изменить у каждого элемента. Чудесным образом у всех не меняется.
