Вместо ссылок на страницы сайта выдаются листинки каталогов

12
chaser
На сайте с 03.08.2005
Offline
198
944

Доброго времени суток.

Смотрю статистику зарегистрированных страниц своего сайта в Яндекс (http://www.yandex.ru/yandsearch?&q=1683315492&p=1&serverurl=www.delphisources.ru), нахожу ссылки такого вида:

"32. Index of /pages/articles/2005_year/art_16_08_05/data

www.delphisources.ru/pages/articles/2005_year/art_16_08_05/data/?C=S;O=A · 1 КБ"

Хотя должны быть ссылки на страницы HTML, а получается что на листинги файлов в папках.

Т.е. пропали страницы html (на сайте они естесственно есть).

Но, к примеру страницы форума проиндексированы нормально, а вот страницы сайта - выдаются листинги каталогов.

Почему он выводит листинги папок, а не ссылки на страницы?

На всякий случай привожу код robots.txt (хотя тут вроде все ОК):

User-agent: *

Disallow: /search/

Disallow: /_shaurma_gb/

Disallow: /404_page/

Disallow: /pages/scripts/downc_log/

Disallow: /pages/scripts/guest_book/

Host: www.delphisources.ru

С чем это может быть связано?

SiteAnalyzer ( https://site-analyzer.ru/ ) - Бесплатный аналог Screaming Frog | Форум поддержки ( https://forum.site-analyzer.ru/ ) / Telegram ( https://t.me/siteanalyzer ) | Majento ( https://majento.ru/index.php?page=seo-analize ) - 70+ бесплатных сервисов SEO-аналитики
K. Ermakov
На сайте с 10.12.2004
Offline
328
#1
chaser:
С чем это может быть связано?

С настройками сервера.

Для того, чтобы Яндекс начал индексировать ваши листинги каталогов достаточно было добавить в индекс ссылку на любой каталог. Как это произошло - кривая ссылка на сайте или происки мирового зла в addurl - не имеет значения.

С уважением, Константин Ермаков, absite.ru: онлайн кроссворды (http://absite.ru/); searchsuggest.ru: поисковые подсказки доставляют (http://searchsuggest.ru/).
chaser
На сайте с 03.08.2005
Offline
198
#2
K. Ermakov:
С настройками сервера.
Для того, чтобы Яндекс начал индексировать ваши листинги каталогов достаточно было добавить в индекс ссылку на любой каталог. Как это произошло - кривая ссылка на сайте или происки мирового зла в addurl - не имеет значения.

ОК, допустим.

Тогда как вернуть все на место?

Что посоветуете?

K. Ermakov
На сайте с 10.12.2004
Offline
328
#3
chaser:
Тогда как вернуть все на место?
Что посоветуете?

Я не знаю, что значит "на место", ибо не могу видеть, как там оно у вас раньше было.

Сейчас вместо листингов каталогов стоит начать отдавать более осмысленный контент. Варианты следующие: те же тексты статей (есть риск, связанный с дублированным контентом), 301й редирект на тексты статей, страницу с 404й ошибкой.

chaser
На сайте с 03.08.2005
Offline
198
#4
K. Ermakov:
Я не знаю, что значит "на место", ибо не могу видеть, как там оно у вас раньше было.
Сейчас вместо листингов каталогов стоит начать отдавать более осмысленный контент. Варианты следующие: те же тексты статей (есть риск, связанный с дублированным контентом), 301й редирект на тексты статей, страницу с 404й ошибкой.

"На место", то есть раньше в поиске страницы выдавалсь нормально, тепрь нет.

Нужно убрать эти каталоги, и выдавать страницы.

Можно поподробнее с 301 редиректом и 404.

Какой либо пример.

chaser
На сайте с 03.08.2005
Offline
198
#5

Народ, кто-нибудь в курсе как исправить положение?

The WishMaster
На сайте с 29.09.2005
Offline
2543
#6

Закрой листинги через htaccess

Пешу текста дешыго! Тематики - туризм, СЕО, творчество, кулинария, шизотерика :)
chaser
На сайте с 03.08.2005
Offline
198
#7
The WishMaster:
Закрой листинги через htaccess

Так их же целая куча!

Пример можно?

A
На сайте с 20.05.2004
Offline
72
Amp
#8

Options -Indexes

chaser
На сайте с 03.08.2005
Offline
198
#9
Amp:
Options -Indexes

Что делает эта деректива?

Поиск никакой информации о ней не дал.

chaser
На сайте с 03.08.2005
Offline
198
#10
chaser:
Что делает эта деректива?
Поиск никакой информации о ней не дал.

Описание нашел, но главный вопрос: после того как в корень добавить .htaccess с Options -Indexes, как я понял Яндекс уже не будет индексировать каталоги, но будет ли он индексоровать страницы в этих каталогах?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий