Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Правильно ли составлен robots.txt

12
V
На сайте с 26.01.2011
Offline
55
Valorous
#11
siv1987:

Угу, что означает - разрешить все к индексации.

Странно, на сайте hausemafia.ru в панели администрирования можно скрыть от индексации любую страницу. Строки со скрытыми страницами удаляются из файла http://hausemafia.ru/sitemap.223832.xml.gz и со временем перестают индексироваться поисковиками. Как тогда реализуются запреты страниц на данном примере?

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#12
Valorous:
Странно, на сайте hausemafia.ru в панели администрирования можно скрыть от индексации любую страницу. Строки со скрытыми страницами удаляются из файла http://hausemafia.ru/sitemap.223832.xml.gz и со временем перестают индексироваться поисковиками. Почему же на данном удалось это реализовать?

Не смотрел, но там, наверное, мета-теги.

V
На сайте с 26.01.2011
Offline
55
Valorous
#13
kimberlit:
Не смотрел, но там, наверное, мета-теги.

Да, Вы правы, а я думал, что это реализовывается за счет robots.txt

kimberlit
На сайте с 13.03.2007
Offline
370
kimberlit
#14
Valorous:
а я думал, что это реализовывается за счет robots.txt

Так в роботсе ничего нет. Как оно без ничего может реализовываться?

V
На сайте с 26.01.2011
Offline
55
Valorous
#15

Следовательно, в моем случае на страницах, которые нужно запретить к индексации, надо прописать метатег <META NAME="ROBOTS" CONTENT="NOINDEX,NOFOLLOW">?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий