Robots.txt : Все, кроме...

X
На сайте с 08.05.2012
Offline
111
685

Всех с наступившим! Собственно, вопрос.

Есть сайт, имеющий структуру:

site.ru/pets/cats

site.ru/ru/pets/cats

2 одинаковые категории в разных языковых локалях (url)

Как запретить к индексации url типа: site.ru/pets/cats

Но разрешить типа: site.ru/ru/pets/cats

Гуглил, мнений много, является ли такой вариант верным?

User-agent: *

Disallow: /

Allow: /ru

Sonitta
На сайте с 15.01.2007
Offline
177
#1

ПС часто игнорят роботс... Тут 301 редирект в помощь ☝

Дизайн, Верстка, Интеграция, Упаковка, Фирменный стиль (/ru/forum/840975)
X
На сайте с 08.05.2012
Offline
111
#2
Sonitta:
ПС часто игнорят роботс... Тут 301 редирект в помощь ☝

Да, тоже заметил такую тенденцию. Насчет редиректа также согласен. Но тем не менее роботс сконфигурировать все равно нужно:) Жду еще мнения:)

obius
На сайте с 19.08.2015
Offline
56
#3
jpg 158951.jpg
X
На сайте с 08.05.2012
Offline
111
#4

Спасибище!:)

Станислав Романенко
На сайте с 05.09.2007
Offline
325
#5

Только надо понимать, что вы таким образом и главную страницу сайта запрещаете к индексации. Если нужно запретить только адреса, начинающиеся с site.ru/pets/cats, то это делается одной строкой:

Disallow: /pets/cats

Проверка:

Сайт не лезет в топ? Сделаю аудит без воды всего за 8000 рублей! Отзывы клиентов тут (https://searchengines.guru/ru/forum/939454), почта для связи: ingref@ya.ru Посмотрю, в чём проблема с вашим сайтом, за 100 рублей (https://searchengines.guru/ru/forum/comment/15662080).
obius
На сайте с 19.08.2015
Offline
56
#6

Ingref, ну если у ТС главная не / а /ru/ то все норм

Логично предположить, что у мульти языкового сайта корень не /

У ТС по принципу запретить все кроме разрешенных, а вы предлагаете разрешить все кроме запрещенных. Подход зависит напрямую от к-во запрещаемых и разрешаемых урл.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий