Странный robots.txt, что с этим делать?

R
На сайте с 20.10.2017
Offline
9
568

Доброго времени суток, форумчане.

Сегодня, на одном сайте, увидел такие строчки в robots.txt:

User-agent: *
Disallow: /
Allow: /$
Allow: /ua/$
Allow: /en/$

На сколько я понимаю "User-agent: * | Disallow: /" запрещает сайт для индексации как Гуглу так и Яндексу, но строчки "Allow: /$ | Allow: /ua/$ | Allow: /en/$" разрешают индексировать главную страницу на 3 языках. На сколько это профессиональное решение или это больше на чушь похоже?

Просто для меня такие строки являются непонятными, если кто-то может помочь и объяснить, буду благодарен.

ИТ аутсорсинг (http://iadmin.com.ua) для Вашего бизнеса
Петр Лях
На сайте с 23.02.2013
Online
139
#1

Сложно понять не видя сайта. Судя по строчкам в роботсе к индексу открыты не сами языковые папки, а страницы, в которых содержится $

Результативное продвижение сайта ( https://searchengines.guru/ru/forum/964018 ) Услуги по seo и usability ( http://windakolit.com )
R
На сайте с 04.12.2016
Offline
51
#2

Вы все правильно понимаете.

Windakolit По поводу символа $ в конце правил в robots.txt ссылка

Подход странный, но необходимо видеть сам сайт. Может быть в вашем конкретном случае это и оправдано.

Для языковых версий рекомендуется использовать: link rel="alternate"

R
На сайте с 20.10.2017
Offline
9
#3
Redgektor:
Вы все правильно понимаете.

Windakolit По поводу символа $ в конце правил в robots.txt ссылка

Подход странный, но необходимо видеть сам сайт. Может быть в вашем конкретном случае это и оправдано.

Для языковых версий рекомендуется использовать: link rel="alternate"

Тут назрел другой вопрос. В роботсе не написано, что это правила для гугл бота. И теперь в индекст по запросу "site:http://mysite" вылезли практически все страницы. Кроме тех разделов которые Disallow(их там около 5), но вот вопрос какого черта это произошло, если Disallow: / стоит(что в принципе запрещает индексировать, что либо кроме того, что я сам разрешу). А вот Allow стоит всего страниц 15. Но гугл решил проиндексировать 224.

Первый вопрос, какого черта это произошло?

Второй, что посоветуете делать? Оперативно допилить 224 страницы или все таки закрыть все и делать все по уже заранее заданому плану?

Recoba
На сайте с 04.04.2008
Offline
112
#4

robots.txt носит для Гугла рекомендательный характер. Гораздо надежнее (для Гугла) использовать метатег robots, если нужно запретить индексирование.

Сам всегда использую тандем robots.txt и метатег robots.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий