Форум Практика оптимизации Любые вопросы от новичков по оптимизации

Закрытие сайта от индексации.

[Удален]
638

Нужно закрыть через роботс весь сайт от индексации, кроме 5 страниц. Страниц на сайте больше 1к, можно прописать какую-либо инструкцию, чтобы он закрыл весь сайт за исключением определенных страниц.

Елена Бурдюгова
На сайте с 28.01.2009
Offline
118
Елена Бурдюгова
#1

Можно закрыть сайт полностью и прописать директиву открывающую лишь конкретные страницы

K
На сайте с 31.01.2001
Offline
737
Kost
#2

perfectsky, FAQ Яндекса ниасилили, или лень было искать?

Инструкцию Allow понимают все основные поисковики (про Рамблер не знаю).

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
[Удален]
#3

Спасибо большое. Извиняюсь, на яндексе не глядел, robots.txt сайт посмотрел и пару других.

Там писали: "Инструкции Allow не существует!" - "работает только для отдельных поисковиков". - собственно вот это и смутило.

Цахес
На сайте с 15.03.2007
Offline
205
Цахес
#4
Kost:
(про Рамблер не знаю)

Я знаю. Единственный наверно, кто не понимает.

К сожалению, инструкций Allow в файлах robots.txt не бывает. Поэтому даже если закрытых для индексирования документов очень много, Вам все равно придется перечислять именно их, а не немногочисленные "открытые" документы. Продумайте структуру сайта, чтобы закрытые для индексирования документы были собраны по возможности в одном месте.

http://help.rambler.ru/article.html?id=327&s=221

- Хорошие и плохие тексты для ваших сайтов (http://www.textsale.ru/team57397.html). - Удаленная работа. Вакансия копирайтера/рерайтера. (http://advego.ru/6myq8sgvKk) - Быстрое составление семантического ядра (https://topvisor.ru/?inv=39380).

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий