Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Смущает как Yandex прочитал Robots.txt

T
На сайте с 28.02.2011
Offline
31
Teotim
643

В роботс прописано:

User-Agent: *

Disallow: /files/

Host: www.site.ru

(Disallow: /files/) - хочу запретить к индексации папку, в которой содержатся Doc,rtf,pdf файлы.
(Host: www.site.ru) - указал главное зеркало

При этом Яндекс Вебмастер отображает роботс следующим образом:

User-agent: ia_archiver

Disallow:

User-agent: *

Disallow: /

Используемые секции пишет: Disallow: /

Правильно ли понял Яндекс файл роботс, можно ли спать спокойно?

Спасибо за терпение!

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#1

У тебя прописано одно, а вебмастер показывает другое. Это тебя не смущает? Тогда спи спокойно.

LisAzarova
На сайте с 26.02.2008
Offline
34
LisAzarova
#2

У меня в веб-мастере и в robots всё 1 в 1. Думайте, у вас что-то не так. Если что пишите в суппорт, пусть разбираются.

Speaker19
На сайте с 20.12.2010
Offline
224
Speaker19
#3

Teotim, явно что-то не правильно! Скиньте сайт пожалуйста (можно в ЛС)!

Дешевая и эффективная реклама ВКонтакте: сообщества, рекламные посты, аналитика. (http://adspoiler.com/r/16336752) Имеются свободные рекламные места в соц. сетях? (http://partner.apishops.com/soc.htm)
footballstar
На сайте с 20.07.2010
Offline
94
footballstar
#4

сайт наверно на укозе и всё)

T
На сайте с 28.02.2011
Offline
31
Teotim
#5

Хостинг HostLight на рег.ру, Для управления существует ISP Manager (я им не пользуюсь, для создания и редактирования страниц использую DreamWeaver, файлы закачиваю с помощью FileZilla). Сайт сделан на CSS.

Может нужно кодировку в роботс поставить UTF-8?

Гугл вебмастер отображает 1 в 1, как в роботс.

Яндекс Маркет реализовал создание Вышло обновление WordPress 4.7 В сайтлинках Директа теперь

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий