А что непонятного в моем вопросе?
Тут вообще есть кто живой?
В общем всем спасибо за помощь, буду ждать результатов.
Вы немного не поняли.
На данный момент такая ситуация.
Раньше, скажем пол года назад, все страницы сайта были прекрасно зарегистрированы.
Однако недавно решил проверить список зарегистрированых страниц своего сайта и обнаружил, что теперь вместо страниц *.html в Яндексе зарегистрированы листинги каталогов, типа
- www.сайт.ru/pages/articles/20...01_06/?C=D;O=A
- www.сайт.ru/pages/programs/?C=N;O=A
- www.сайт.ru/pages/sources/database/?C=D;O=D
Не знаю как это получилось, но теперь стоит задача убрать из индекса все листинги и вернуть нормальные *.html страницы.
Вот я и спросил, как корректно удалить все листинги, начиная с папки "/pages/".
А вот не знаю в том то и дело.
При заходе по этой ссылке открывается (открывался) листинг каталога "/pages/" (типа Index of pages и список файлов каталога), который также содержит файл "sources.html".
Недавно я запретил через .htaccess отображение содержимого каталогов (прописал "Options -Indexes").
Но не знаю, из-за этого это проиходит, либо из-за чего-то другого.
А это может быть связано с тем что вместо страниц в базе есть только ссылки на листинги каталгов, например как этот
www.сайт.ru/pages/?C=D;O=D
Поэтому эта страница "www.сайт.ru/pages/sources.html" и не регистрируется?
ОК, но как все-таки правильнее:
так - Disallow: /pages
или
так - Disallow: /pages/
?
Их и так нет в базе, причем если даже добавить URL "www.сайт.ru/pages/sources.html", на след. день он в базе появляется, однако через паруд ней исчезает.
Не в курсе, с чем это может быть связано?
Дело в том, что мне нужно удалить из бызы ссылки на листинги каталогов такого типа:
- www.сайт.ru/pages/articles/2006_year/art_11_01_06/?C=D;O=A
Давно уже бьюсь, но никак не получается их убрать.
А как я понял из-за них не регистрируются нормальные страницы, типа:
- www.сайт.ru/pages/sources.html и т.п.
User-agent: *
Disallow: /search/
Disallow: /_shaurma_gb/
Disallow: /404_page/
Disallow: /pages/
Disallow: /pages/scripts/downc_log/
Disallow: /pages/scripts/guest_book/
Host: www.сайт.ru
Options -Indexes
Чет я тупанул... всем спасибо, тема закрыта.
