можете об этом поподробнее?
самоподписной сертификат в ISPManager 6 я смогу видимо сделать. вроде уже раньше делал.
а вот что значит "у клауда свое"? дело в том , что я не включаю в клауде редирект c http на https.
мне нужно чтобы страницы сайта открывались как по http так и по https...
Если у вас включено проксирование, то вся обработка идёт через сервера клауда и там свои сертификаты.
Если у вас клауд только как DNS, тогда делать поддомены как отдельными сайты, чтобы получать свои сертификаты через панель.
ИЛИ опять как писал ранее подключать модуль клауда, чтобы панель сама создавала нужные DNS записи для проверки поддоменов.
Или выпускать самоподписанные сертификаты т.к. у клауда свои и всё будет нормально работать
Или добавлять поддомен как новый сайт в туже директорию главному сайту и для них выпуск сертификата будет по файлу, а не по DNS
Или подключать модуль клауда, который есть в ISPManager 6 и работать с ним Документация ispmanager 6 lite, pro, host : Интеграция с Cloudflare
Нормальные боты, это те, которые приносят пользу и выгоду владельцу сайта. Всё остальное это "мусор" поглощающий ресурсы сайта и сервера для своих нужд.
Ну да, в ноябре прошлого года всё случилось. Чего они своих ботов не выключают, не понятно. Возможно богом забытые сервера работают и никто их не трогает.
А этого товарища забыли выключить что-ли? Тоже активно шарится
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Target/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Fast/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/Favicons/2.0; +https://help.mail.ru/webmaster/indexing/robots)
Я скинул основной список, который явные УГ, которые ничего не даёт. Всё остальное уже можете добавлять по своему усмотрению.
Их очень много, но у меня есть список самых популярных, код для nginx:
if ($http_user_agent ~* (Applebot|ClaudeBot|GeedoBot|keys-so-bot|GPTBot|Bytespider|Amazonbot|proximic|Sogou|rogerbot|mj12bot|majestic|ahrefs|semrushbot|beekport|archiver|teleport|megaindex|baiduspider|linkpadbot|yahoo|msnbot|bingpreview|dotbot|uptimerobot|psbot|serpstatbot|gigabot|alphabot|aspiegelbot|xforce-security|semantic-visions|barkrowler|admantx|GetIntent|CriteoBot|BLEXBot|python-requests|PetalBot|seostar|zgrab|Go-http-client|CensysInspect|paloaltonetworks|SiteAnalyzerbot|dataforseo) ) {
return 444;
}
XML от ЦБ уже не актуальный?
Недоступность сайта, некорректная работа, сторонние скрипты мешающие работе и подобные малограмотные методы просто отразятся в отчете толокера. Для высоких позиций должны быть положительные оценки. Если было инициировано провести 100 оценок и они не были проведены - оценку ты провалил.
Открытие сайта в iframe это вопрос безопасности в первую очередь. И может регулироваться на уровне сервера, благо такие настройки уже давно есть.
Например, этот форум нельзя открыть в iframe по правилам Content Security Policy и таких сайтов много.
Я бы по умолчанию вообще запретил открывать сайты внешние (когды урлы не совпадают) в iframe БЕЗ явного разрешения и это вполне логично.
