Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Несколько robots.txt на одном сайте

arman1231
На сайте с 29.04.2011
Offline
78
arman1231
172

Коллеги, подскажите пожалуйста.

Ситуация следующая.

В корне сайта лежит site.ru/robots.txt, но так как сайт мультиязычный, в зависимости от языка, к url добавляется подкатегория с языком и выглядит это вот так site.ru/en/.

Однако, в связи с особенностями бекэнда, тянется и роботс и выглядит это вот так   site.ru/en/robots.txt,  site.ru/de/robots.txt и т.п.

Вопрос. Оставить так, как есть сейчас или оставить только один роботс в корне?

Дорогу осилит идущий
skapunker
На сайте с 15.01.2014
Offline
217
skapunker
#1
arman1231 :
Однако, в связи с особенностями бекэнда, тянется и роботс и выглядит это вот так   site.ru/en/robots.txt,  site.ru/de/robots.txt и т.п.

эти роботсы не учитываются, учитывается только тот, который в корне

arman1231
На сайте с 29.04.2011
Offline
78
arman1231
#2
skapunker #:

эти роботсы не учитываются, учитывается только тот, который в корне

Спасибо, а подскажите еще пожалуйста. С чем может быть связано, что в англоязычную выдачу подтягиваются тайтлы и дескрипшены на русском? 

<link rel="alternate" hreflang="" href=""> прописаны для всех языков, а по умолчанию инглишь стоит.

Яндекс и Google начали Google представил новую разметку Google Search Console уведомляет
sergv
На сайте с 13.04.2006
Offline
432
sergv
#3
Так написан и работает ваш скрипт.
https://REGHOME.ru - регистрация и продление доменов от 169₽ в российских и международных зонах по честным ценам без звездочек. (R01, WebNames, UK2). Принимаем Ю-Money, Visa, MasterCard, Мир

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий