ОК, но как все-таки правильнее:
так - Disallow: /pages
или
так - Disallow: /pages/
?
Их и так нет в базе, причем если даже добавить URL "www.сайт.ru/pages/sources.html", на след. день он в базе появляется, однако через паруд ней исчезает.
Не в курсе, с чем это может быть связано?
Дело в том, что мне нужно удалить из бызы ссылки на листинги каталогов такого типа:
- www.сайт.ru/pages/articles/2006_year/art_11_01_06/?C=D;O=A
- www.сайт.ru/pages/programs/?C=N;O=A
- www.сайт.ru/pages/sources/database/?C=D;O=D
Давно уже бьюсь, но никак не получается их убрать.
А как я понял из-за них не регистрируются нормальные страницы, типа:
- www.сайт.ru/pages/sources.html и т.п.
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages/
Disallow: /pages/scripts/downc_log/
Disallow: /pages/scripts/guest_book/
Host: www.сайт.ru
Options -Indexes
Чет я тупанул... всем спасибо, тема закрыта.
Так что же посоветуете сделать, чтобы Я не индексировал каталоги, а индексировал страницы?
Описание нашел, но главный вопрос: после того как в корень добавить .htaccess с Options -Indexes, как я понял Яндекс уже не будет индексировать каталоги, но будет ли он индексоровать страницы в этих каталогах?
Что делает эта деректива?
Поиск никакой информации о ней не дал.
Так их же целая куча!
Пример можно?
Народ, кто-нибудь в курсе как исправить положение?
"На место", то есть раньше в поиске страницы выдавалсь нормально, тепрь нет.
Нужно убрать эти каталоги, и выдавать страницы.
Можно поподробнее с 301 редиректом и 404.
Какой либо пример.
