Как разрешить в robots только главную?

C
На сайте с 22.10.2009
Offline
89
7278

Требуется в robots.txt разрешить только главную страницу, а остальные запретить.

При этом запретить желательно все страницы, чтобы при добавлении новых не править robots.txt.

Интересует в первую очередь для Яндекса, но лучше для всех ПС.

Заранее благодарен!

[Удален]
#1

Поместить все "неглавные" страницы в папку docs и прописать:

User-agent: *

Disallow: /docs/

C
На сайте с 22.10.2009
Offline
89
#2
sasha_123:
Поместить все "неглавные" страницы в папку docs и прописать:

User-agent: *
Disallow: /docs/

Интересует без дополнительного перемещения страниц.

K
На сайте с 31.01.2001
Offline
737
#3

Allow: /$

Disallow: /

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.
C
На сайте с 22.10.2009
Offline
89
#4
Kost:
Allow: /$
Disallow: /

Спасибо! То, что нужно. Наверное лучше ещё разрешить индексный файл.

Вот, что получилось:

User-agent: Yandex

Allow: /$

Allow: /index.html

Disallow: /

K
На сайте с 31.01.2001
Offline
737
#5
Carbyn:
Наверное лучше ещё разрешить индексный файл.

Наверное хуже.

C
На сайте с 22.10.2009
Offline
89
#6
Kost:
Наверное хуже.

Так это как раз и есть главная страница. Или я что-то не понимаю? Если не затруднит, поясните, почему вы считаете, что строка "Allow: /index.html" не нужна?

K
На сайте с 31.01.2001
Offline
737
#7

У вас по адресу site.ru/ открывается главная страница?

Хотите иметь проблемы с ранжированием дубля? Тогда откройте для индексации index.html, везде на него ссылайтесь как на главную страницу, а на корень сайта нигде не ссылайтесь.

Почитайте про корректность индексации, что делают при аудите сайта, про дубли или дубликаты.

Люди не знают, как избавиться от дублей, а вы своими руками их себе делаете.

А через год переделайте сайт на PHP и сделайте главной страницу /index.php - вот это будет еще веселее.

Владислав
На сайте с 22.02.2007
Offline
186
#8
User-agent: * 

Allow: /$
Disallow: /
# запрещено все, кроме главной страницы
Сначала разрешающие правила пишутся, потом запрещающие. Чем ниже в списке правило, тем выше приоритет. 
Читайте книжки, больше читайте книжки на самом деле...
Алеандр
На сайте с 08.12.2010
Offline
198
#9
Владислав #:
Сначала разрешающие правила пишутся, потом запрещающие. Чем ниже в списке правило, тем выше приоритет. 
Сами себе противоречите, если бы это было так, то правило Disallow в примере было бы более важным, чем правило Allow. Но это не так, поскольку правила используются по мере их прочтения сверху вниз. Именно потому, если было встречено Allow, то оно будет исключено из нижеследующего Disallow. И на счет того, что сначала разрешающие - тоже не верно. Можно и наоборот, в зависимости от необходимого набора правил для сайта. Я, например, часто использую обратную конструкцию:
Disallow: /*?
Allow: /

PS: Некротопик, однако, появился

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий