Как скрыть карту сайта от посетителей

Вот так можно спрятать карту сайта от живых пользователей.

Cloudflare » Security  » WAF, а затем:

Вуаля! Пользователи увидят страницу блокировки, а для поисковиков — Green Card и вид на жительство. 

.htaccess

я только с гуглом работаю и карту сайта скармливаю только ему, естественно, где находится эта карта и как называется знаем только мы с гуглом.

https://сайт.ru/sitemap.xml?key=вашсекретныйключ

Потом вручную вставляете в вебмастере яндекса, в консоли гугла, можно бинге еще.

Надеюсь, понятно, что на стороне сервера надо обрабатывать такой подход?

if (isset($_GET['key']) && $_GET['key'] === 'вашсекретныйключ')) {
        // Приватная карта
} {
        // Публичная карта
}

Фильтра по юзерагенту будет достаточно, уже пару лет использую - проблем нет.

  if (Request.UserAgent.ToLower().Contains("yandexbot") || Request.UserAgent.ToLower().Contains("googlebot"))

        

А ничего, что кто угодно может вписать себе любой юзерагент?

Бороться с парсерами бесполезно, поскольку они маскируются под кого угодно и не вешают на себя вывеску "Я парсер, забань меня!"
И тем более бесполезно бороться с ними, пытаясь скрыть от них карту сайта, которая им нинахрен не сдалась, по большому счёту.

чет я угораю с ответов)))) путь сайтмапа сделайте /sdjfiojsdofhsdihdfouhsuhfushudfhushdfusuhfusdhfu/sitemap.xml или сам файл хмл обзовите рандомно и поисковикам ручками файл укажите

на счет robots.txt, точно не скажу, но вроде от туда удаление ссылки на сайтмап ни на что не повлияет

а вот был норм ответ, сори не увидел, тупо повторил))

Кому нужна карта - забьют урл в сервис, тот пробежится по сайту, создаст карту и отдаст файлик запрашиваемому. Ну а дальше он сделает то, что собирался ) Поэтому, карта есть у нуждающихся даже в том случае, когда ее вообще не существует ) Дело нескольких минут.