- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Все что нужно знать о DDоS-атаках грамотному менеджеру
И как реагировать на "пожар", когда неизвестно, где хранятся "огнетушители
Антон Никонов
VK приобрела 70% в структуре компании-разработчика red_mad_robot
Которая участвовала в создании RuStore
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем? Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.
Вы придумываете себе совершенно ненужные задачи.
XML карта должна быть в свободном доступе. Обычным пользователям она и не нужна, при навигации по сайту они её не видят.
Вы придумываете себе совершенно ненужные задачи.
XML карта должна быть в свободном доступе. Обычным пользователям она и не нужна, при навигации по сайту они её не видят.
Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.
Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.
Тем кто серьёзно вознамерится копировать ваш сайт XML карта не нужна.
Всё необходимое они и так скопируют по вашим навигационным ссылкам. Вы боритесь с ветряными мельницами.
Обычным пользователям она не нужна, но нужна тем, кто хочет копировать информацию с сайта в большом объёме.
Ещё раз: забудь об этом, запретить это невозможно. Единственный способ - раздобыть все IP поисковиков и разрешать доступ только с этих IP.
И в любом случае все страницы копируются путём последовательного обхода ссылок, это всё легко автоматизируется.
Ну там можно заморочиться, извратиться, настрогать правил что всем 503 или еще какая ошибка если это не AS гуглояндексов, и проч. Тем же Cloudflare.
Но как и написали выше, это борьба с ветряными мельницами, если у вас на сайте проходной двор, и на сайте не переставая пасется миллион сканеров и проч, которое вы никак не ограничиваете.
XML карта должна быть в свободном доступе.
Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.
Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.
Подскажите как скрыть страницы карты сайта от посетителей, но оставить их для поисковых систем? Нужно чтобы зайдя на страницу карты https://сайт.ru/sitemap_index.xml посетители видели 404 ошибку, либо переадресацию на главную страницу. Сайт сделан на wordpres.
Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.
Все настраивается клаудом или другим решением в 2-3 правила.
Это Вы так решили?) На многих проектах закрываю карту для обычных юзеров.
Я такого же мнения, что и ТС. Карта и другие системные разделы (для ПС) должны быть закрыты и быть только для ПС.
Ставите клауд, делаете правило для пропуска хороших ботов (по мнению клауда). Собираете логи.
Смотрите логи, AS сети Ваших поисковиков. Делаете правило чтобы sitemap был доступен только с этих сетей.
Все настраивается клаудом или другим решением в 2-3 правила.
Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.
Т.е. просто блокировкой карты тут не отделаться, это полумера.
Да и вы выше то же самое топикстартеру написали. Что если захотят - спарсят.
Все верно. Это как-бы логично.
Но как выше написал тот же Антоний, они спарсят те же фиды, пройдутся по ссылкам, Screaming Frog тот же запустят или аналогичный софт, и так далее.
Задача была: закрыть sitemap - но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.
Задача была: закрыть sitemap - но оставить их для поисковых систем. Подсказка предоставлена, дальше пусть реализует.
ТС не писал что ему нужно скрыть карту сайта, чтобы не парсили сайт (для этого другие правила).
Про фиды ТС ничего не писал, но что мешает их тоже закрыть если таковые имеются? Весь клауд логируется.
Ну да, мы на основании своего опыта пошли чуть дальше и показываем топикстартеру то, во что он упрется на следующем шаге.
Ок, тогда да, согласен. Пусть ставит клауд и блокирует все заходы на карту, если это не яндекс и гугл.
А потом создает уже следующую тему, где спрашивает, почему боты все так-же парсят мой сайт 🤣
У меня уже даже готовый ответ есть для следующего топика: потому что ваш клауд отстой и ничего не фильтрует )