Несколько robots.txt на одном сайте

arman1231
На сайте с 29.04.2011
Offline
78
160

Коллеги, подскажите пожалуйста.

Ситуация следующая.

В корне сайта лежит site.ru/robots.txt, но так как сайт мультиязычный, в зависимости от языка, к url добавляется подкатегория с языком и выглядит это вот так site.ru/en/.

Однако, в связи с особенностями бекэнда, тянется и роботс и выглядит это вот так   site.ru/en/robots.txt site.ru/de/robots.txt и т.п.

Вопрос. Оставить так, как есть сейчас или оставить только один роботс в корне?

Дорогу осилит идущий
skapunker
На сайте с 15.01.2014
Offline
190
#1
arman1231 :
Однако, в связи с особенностями бекэнда, тянется и роботс и выглядит это вот так   site.ru/en/robots.txt site.ru/de/robots.txt и т.п.

эти роботсы не учитываются, учитывается только тот, который в корне

Мои сайты ищут дно. Я больше не СЕО гуру... Я ухожу в отставку. Однако, я по прежнему царь вебмастеринга.
arman1231
На сайте с 29.04.2011
Offline
78
#2
skapunker #:

эти роботсы не учитываются, учитывается только тот, который в корне

Спасибо, а подскажите еще пожалуйста. С чем может быть связано, что в англоязычную выдачу подтягиваются тайтлы и дескрипшены на русском? 

<link rel="alternate" hreflang="" href=""> прописаны для всех языков, а по умолчанию инглишь стоит.

sergv
На сайте с 13.04.2006
Offline
310
#3
Так написан и работает ваш скрипт.
Продвигай свои сайты на MainLink (http://mailink.ru) Регистрация и продление доменов в российских и международных зонах по честным ценам без звездочек. (https://RegHome.ru) (R01, WebNames, UK2). Принимаем WMR, WMP, ЯД, Visa, MasterCard, Мир

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий