robots.txt для мобильной версии сайта

mr_krabs
На сайте с 31.03.2010
Offline
77
4728

Назрел вопрос, как корректно его составить. Яндекс вещает http://help.yandex.ru/webmaster/?id=1121707 Но про роботс там нет ничего. В справке гугл тоже не нашел.

В чем суть. Мобильная версия в большинстве случаев, как собственно и в нашем, просто урезанный основной сайт. Контент тот же. Столкнулись с проблемой, что попадая в индекс страницы мобильной версии кое где подменяют в выдаче основной сайт.

Полностью запретить к индексации мобильную версию очково. То что рекомендует яндекс пока не делали, так как нигде на крупных сайтах тег mobile не попался.

Есть разные варианты. На хабре и мейле, например, они закрыты полностью:

http://m.habrahabr.ru/robots.txt

http://m.mail.ru/robots.txt

На hh вакансии открыты как и на основном сайте:

http://m.hh.ru/robots.txt

На многих крупных сайтах вообще нет роботс:

http://m.rbc.ru/robots.txt

http://m.ozon.ru/robots.txt

Собственно вопрос, как правильно сделать?

Профессиональные услуги веб-аналитики (http://forup.ru) Форум о веб-аналитике (http://allmetrics.ru)
[Удален]
#1

а почему очково закрыть мобильную версию?

у меня сайт с мобильной версией неплохо живет. мобильная версия на поддомене вида m.site.ru, индексируется только веб-версия, а при заходе на сайт или страницу с мобильника перекидывает на m.site.ru/blablabla.html, т.к. урлы полностью дублируются

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий