- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Как правильно закрыть в robots.txt такие дубли?
https://site.ru//
https:// site .ru///
так?
Disallow: *//
Disallow: *///
Disallow: *////
В файл htaccess добавьте строки для обрезки лишних слешей
RewriteCond %{THE_REQUEST} ([^\s]*)\/{2,}(\?[^\s]*)?
RewriteRule (.*) %1 [R=301,L]
P/S
Так же используйте мета тег canonical
А что попала в индекс такая страница? Или просто пытаетесь выполнить ТЗ, которое предоставили вам "чудо-специалисты" для замыливания глаз?
По теме: закрывают от индексации не в robots.txt, а используя мета-тег robots. Но вашем случае этого, уверен, можно и вовсе не делать.
ЗЫ: Если сильно надо, используйте способ, который выше вам предложили. Но опять же, это не в robots.txt делается.
В файл htaccess добавьте строки для обрезки лишних слешей
RewriteCond %{THE_REQUEST} ([^\s]*)\/{2,}(\?[^\s]*)?
RewriteRule (.*) %1 [R=301,L]
P/S
Так же используйте мета тег canonical
Спасибо большое!
1
Это закроет не только на главной, но и на остальных
так?
Disallow: *//
Можно и так, но кроме ваших фобий ничего не нужно закрывать, примитивные эксперименты не давали в индексе яндекса и гугла страниц с разным контентом и отличающиеся лишь количеством слешей в урле (там всё не так, как вы боитесь, и лучше экспериментировать, чем спрашивать в этом болоте).
В файл htaccess добавьте строки для обрезки лишних слешей
RewriteCond %{THE_REQUEST} ([^\s]*)\/{2,}(\?[^\s]*)?
RewriteRule (.*) %1 [R=301,L]
P/S
Так же используйте мета тег canonical
правильнее так:
RewriteCond %{THE_REQUEST} //
RewriteRule .* /$0 [R=301,L]
И ещё надо дуть на воду, если нафантазировал обжечься на молоке.
Кто-нибудь видел реальный дубль, придуманный ТС?
придуманный
Почему придуманный ? Конкуренты запросто могут подпортить карму, если в этом есть дыра. Для поисковых с 1, 2 , 3 слешами на конце - разные ссылки и , если нет canonical - сочтут за дубль. Яндекс и с canonical ругается.