HTML-карта в 21 веке?

burunduk, почему? зачем её прятать? без неё сайт не спарсят?

Ещё xml карта нужна при прохождении робота для быстрого захода нового контента

demon2005, зачем так облегчать задачу по поиску нового контента, который ещё в индекс попасть не успел?

Когда на карте есть карта html - очень просто разобраться со структурой. Не поиску, а человеку.

нужно изначально нормальную структуру делать, чтобы в карту потом не втыкать.

Ок. Только у мелочи денег нет,а те кто серьезно работает имеет софт, которому пофигу что парсить и сканировать.

Из интересного помнится задавал Моевой и Липатцеву вопрос: сайтмап в роботс и консоли. Какой из них бот берет или имеет на какой приоритет. Ответа не было :)

совсем не так, найти новый контент на сайте с 10к+ страниц в режиме онлайн задача нерешаемая даже на теоретическом уровне ;)

а в роботсе его вообще указывать не надо ;)

а боты гугл яша значит из будущего и полная фантастика? :)

еще как надо. Краулер это не игрушка. Потому и делегированы полномочия для сканирующего и собирающего ссылки. Есть наверно и другие части, но про них еще меньше инфы.

так без помощи (карта сайта) они новый контент найти не могут

не надо - это лишняя сущность, которая только путает ботов ;)

по хлебным крошкам и прямыми проходами по сайту могут. точней как я понял из общения используются все доступные способы.

в этом вопросе, каждый остается при своем мнении :)