Как скрыть карту сайта от посетителей

Это рекомендация ПС предоставлять XML карту в свободном доступе.

Отдельные персональные мнения и выводы иметь никто не запрещает :)

Можно направлять свои усилия в то, чтобы запретить пользовательский доступ к XML карте, к robots.txt и разным другим разделам, но это из разряда кто во что горазд.

Ключевой момент в том, что для более-менее серьёзного парсинга отдельный XML и не обязателен.

Программный парсинг рабочих страниц можно выполнить и Xenu, и Frog-ом в обход XML карты, - я уж не говорю о более серьёзных инструментах типа A-parser, Zennoposter-а и прочих экзотических вещей, включая самописные парсеры.

Да, коллеги выше порекомендовали варианты черeз CF, через соответствия User-Agent-а в htaccess и прочие варианты уже через php проверку, но это не спасёт от серьёзного намерения спарсить.

p.s. Если уж хотите спрятать XML карту от пользователей - используйте нестандартное название и не прописывайте её в robots.txt. Эта самая простая мера без всяких проверок и CF.

Именно. Проблема мне тут видится в другом, проблема в том, что TC серьёзно уверен, что для парсинга нужна XML карта.

А дело не в ней, дело в том, то пользователь в любом случае может получить навигационную структуру сайта. А дальше уже хоть с XML картой, хоть без неё.

p.s. Вот определить квоту запросов для отдельного IP - это уже более серьёзная мера, хотя и она профессионалом своего дела решится (последовательным использованием прокси адресов).

Так откуда они знают, что стоит такое ограничение, обычно видят 404 ошибку и делают выводы, что сайт без карты.

Необычно.
Гораздо более обычно наблюдать в логах всяких разных ботов, у которых в UA прописаны яндексы и гуглы.

Совершенно не согласен, в карте парсер получает "очищенные" данные, которые необходимо скопировать без всякого мусора - страницы с пагинацией, фильтрами  и т.д..   Если закрыть доступ(спрятать) к карте, то парсеру придется сделать существенное кол-во запросов к сайту, из-за той же пагинации. Ну а дальше все просто - превышение запросов, врубаем подмену данных.  

А если вдруг робот гуглояндексов решит пройтись по пагинации или фильтрам - а тут подмена данных? Что мы увидим в качестве страниц сайта?

Простота - хуже воровства (С).

Так тот же фильтр по UA с проверкой маски гугла и яндекса. Ладно, коллеги, я не вебмастер, а программист(c#) не надо меня слушать. :)

if (!IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "66.249.64.0/19") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.255.231.0/24") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "213.180.203.0/24") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.45.207.0/24") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "87.250.224.0/24") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "95.108.213.0/24") &&
                            !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "5.255.253.0/24") &&
                    !IpAddressExtensions.IsInSubnet(IPAddress.Parse(Request.UserHostAddress), "141.8.142.0/24") &&
                            _repository.GetBotIp(Request.UserHostAddress) == null
                            )

Уже отвечал:

Про это тоже писал:

Однако замучаешmься все IP добывать поисковики их не афишируют дабы выявлять клоакинг и подобные "хитрости". В результате можешь либо нарваться на фильтр, либо забанить поискового робота.

А это как раз вопрос программиста, а не вебмастера.

Формально - да, но на мой взгляд вы преувеличиваете потенциальную полезность XML для стороннего парсера.

Во-первых, мы изначально не знаем что/в каком объёме/какой периодичности будет парситься контент.

Я вообще сомневаюсь, что те кто занимаются парсингом нацеленно ищут XML файл хотя бы потому что:

а) он не всегда есть

б) он не всегда корректно сгенерирован

в) он не всегда содержит актуальные данные.

Во-вторых, при парсинге можно настроить рабочие критерии (рабочее пространство по URL, отсечь параметры и т.д.)

Это вызывает какие-то дополнительные сложности?

Условно, если мы несколькими кликами мышки запустим тот же доступный Xenu и пробежимся по сайту TC, какое-либо существенное кол-во запросов к сайту нас остановит?

Вы уверены, что будет какое-то дальше?

Я например думаю, что прочитав первые ответы TC вероятно и не вернется в тему (как это нередко бывает).