Индексируется запрещенное в robots.txt

12
kimberlit
На сайте с 13.03.2007
Offline
370
#11
En@n:
и чем отличается от feed ?

У тебя адреса с /feed/ начинаются что ли?

En@n:
В индексе много страниц http://URL поста/feed/
En@n
На сайте с 20.09.2007
Offline
56
#12

Ну да ты самый умный тут. Все остальные дауны по твоему.

Если до этого апа все было прекрасно и учитывалось как написано щас, а в этот ап глюкнул яндекс и засунул в индекс эти страницы, ошибка совершенно не в наших роботсах. А то что ты мне "нагадил" в репу мне в принципе все равно. Я считаю что я прав.

kimberlit
На сайте с 13.03.2007
Offline
370
#13
En@n:
Ну да ты самый умный тут. Все остальные дауны по твоему.
Если до этого апа все было прекрасно и учитывалось как написано щас, а в этот ап глюкнул яндекс и засунул в индекс эти страницы, ошибка совершенно не в наших роботсах. А то что ты мне "нагадил" в репу мне в принципе все равно. Я считаю что я прав.

Нет слов. У тебя роботс неправильно написан.

Ты даже с хэлпом не в состоянии работать.

Эти адреса раньше не попадали в индекс, патамушта гладиолус.

ЗЫ Disallow: /feed/ не закрывает _http://URL поста/feed/

Denisg
На сайте с 10.01.2008
Offline
136
#14

Посмотрите файл robots.txt - правильно ли вы записали все в файл?

12

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий