А вот не знаю в том то и дело.
При заходе по этой ссылке открывается (открывался) листинг каталога "/pages/" (типа Index of pages и список файлов каталога), который также содержит файл "sources.html".
Недавно я запретил через .htaccess отображение содержимого каталогов (прописал "Options -Indexes").
Но не знаю, из-за этого это проиходит, либо из-за чего-то другого.
А это может быть связано с тем что вместо страниц в базе есть только ссылки на листинги каталгов, например как этот
www.сайт.ru/pages/?C=D;O=D
Поэтому эта страница "www.сайт.ru/pages/sources.html" и не регистрируется?
ОК, но как все-таки правильнее:
так - Disallow: /pages
или
так - Disallow: /pages/
?
Их и так нет в базе, причем если даже добавить URL "www.сайт.ru/pages/sources.html", на след. день он в базе появляется, однако через паруд ней исчезает.
Не в курсе, с чем это может быть связано?
Дело в том, что мне нужно удалить из бызы ссылки на листинги каталогов такого типа:
- www.сайт.ru/pages/articles/2006_year/art_11_01_06/?C=D;O=A
- www.сайт.ru/pages/programs/?C=N;O=A
- www.сайт.ru/pages/sources/database/?C=D;O=D
Давно уже бьюсь, но никак не получается их убрать.
А как я понял из-за них не регистрируются нормальные страницы, типа:
- www.сайт.ru/pages/sources.html и т.п.
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages/
Disallow: /pages/scripts/downc_log/
Disallow: /pages/scripts/guest_book/
Host: www.сайт.ru
Options -Indexes
Чет я тупанул... всем спасибо, тема закрыта.
Так что же посоветуете сделать, чтобы Я не индексировал каталоги, а индексировал страницы?
Описание нашел, но главный вопрос: после того как в корень добавить .htaccess с Options -Indexes, как я понял Яндекс уже не будет индексировать каталоги, но будет ли он индексоровать страницы в этих каталогах?
Что делает эта деректива?
Поиск никакой информации о ней не дал.
Так их же целая куча!
Пример можно?
