Запрет индексирования

P
На сайте с 04.06.2012
Offline
55
324

Всем доброго времени суток. У меня получилась неприятная ситуация. В роботсе запрещены к индексированию все не нужные директории сайта, такие как модули, компоненты и т.д., но особо хитрые постеры все равно регистрировались на сайте через скрытые формы этих компонентов и спамили, как только могли. Я закрыл регистрации, и удалил весь спам, но вот дело в том, что яндекс и гугл уже проиндексировали эти страницы и теперь выдают ошибки 500, 503, хотя эти страницы остаются доступными. Я в кодах мало что понимаю. Подскажите пожалуйста, если я хочу запретить к индексированию всеми поисковыми системами определенные адреса моего сайта начинающиеся например на /atom/feet и /blog тогда мне нужно, в роботсе прописать:

Disallow: /atom/feed

Disallow: /blog

причем перед /atom/feet у меня адрес категории, вот саму категорию запрещать не хочу, а только адрес после неё. Тогда все правильно?

Ведь так?:popcorn: А то вебмастер Гугла уже 40 ошибок выдает, от сорока категорий, и еще одного скрытого блога, который по идеи не должен был индексироваться, так как является частью компонента

mark3000
На сайте с 29.08.2009
Offline
115
#1

Будет правильнее изучить справку, что бы не гадать в будущем:

http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml#1041216

И проверить анализатором:

http://webmaster.yandex.ru/robots.xml

LINKOSCOP 4.2 (http://www.interascope.biz/linkoscop-4/) это 100+ функций для работы с внутренней перелинковкой
P
На сайте с 04.06.2012
Offline
55
#2

Спасибо большое:)

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий