Как скрыть карту сайта от посетителей

12 3
D
На сайте с 20.12.2014
Offline
80
927
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем?  Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml    посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.
W1
На сайте с 22.01.2021
Offline
306
#1
Никак.
Мой форум - https://webinfo.guru –Там я всегда на связи
Антоний Казанский
На сайте с 12.04.2007
Offline
682
#2
Djezzy :
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем?  Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml    посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.

Вы придумываете себе совершенно ненужные задачи.

XML карта должна быть в свободном доступе. Обычным пользователям она и не нужна, при навигации по сайту они её не видят.

√ SEO продвижение https://akazansky.ru - экспертный аудит сайтов ( https://akazansky.ru/audit-sajtov ), внедрение эффективных решений цифрового маркетинга.
D
На сайте с 20.12.2014
Offline
80
#3
Антоний Казанский #:

Вы придумываете себе совершенно ненужные задачи.

XML карта должна быть в свободном доступе. Обычным пользователям она и не нужна, при навигации по сайту они её не видят.

Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.

Антоний Казанский
На сайте с 12.04.2007
Offline
682
#4
Djezzy #:
Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.

Тем кто серьёзно вознамерится копировать ваш сайт XML карта не нужна. 

Всё необходимое они и так скопируют по вашим навигационным ссылкам. Вы боритесь с ветряными мельницами.

W1
На сайте с 22.01.2021
Offline
306
#5
Djezzy #:

Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.

Ещё раз: забудь об этом, запретить это невозможно. Единственный способ - раздобыть все IP поисковиков и разрешать доступ только с этих IP.

И в любом случае все страницы копируются путём последовательного обхода ссылок, это всё легко автоматизируется.

Анти ДДОС
На сайте с 14.03.2020
Offline
87
#6

Ну там можно заморочиться, извратиться, настрогать правил что всем 503 или еще какая ошибка если это не AS гуглояндексов, и проч. Тем же Cloudflare.

Но как и написали выше, это борьба с ветряными мельницами, если у вас на сайте проходной двор, и на сайте не переставая пасется миллион сканеров и проч, которое вы никак не ограничиваете.

Защита сайта от ботов, настройка Cloudflare, поведенческие факторы, АнтиБот, DDoS - https://antiddos24.ru
WN
На сайте с 22.02.2022
Offline
26
#7
Антоний Казанский #:
XML карта должна быть в свободном доступе.

Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.

Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.

Djezzy :
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем?  Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml    посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.

Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.

Все настраивается клаудом или другим решением в 2-3 правила.

Анти ДДОС
На сайте с 14.03.2020
Offline
87
#8
WantNight #:

Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.

Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.

Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.

Все настраивается клаудом или другим решением в 2-3 правила.

Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.
Т.е. просто блокировкой карты тут не отделаться, это полумера.

Да и вы выше то же самое топикстартеру написали. Что если захотят - спарсят.

WN
На сайте с 22.02.2022
Offline
26
#9
GuruSite24 #:

Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.

Задача была: закрыть sitemap -  но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.

Анти ДДОС
На сайте с 14.03.2020
Offline
87
#10
WantNight #:

Задача была: закрыть sitemap -  но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.

Ну да, мы на основании своего опыта пошли чуть дальше и показываем топикстартеру то,  во что он упрется на следующем шаге.

Ок, тогда да, согласен. Пусть ставит клауд и блокирует все заходы на карту, если это не яндекс и гугл.

А потом создает уже следующую тему, где спрашивает, почему боты все так-же парсят мой сайт 🤣

У меня уже даже готовый ответ есть для следующего топика: потому что ваш клауд отстой и ничего не фильтрует )

12 3

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий