Вопрос по роботсу

NK
На сайте с 19.12.2010
Offline
32
359

В общем создал я robots.txt

Вот прошу проверить:

User-agent : *

Disallow : /tags

Disallow : /category

Disallow : /wp-admin

Disallow : /cgi-bin

Disallow : /css

Теги я закрыл чтобы не было 2 одинаковых текста в индексе, а такое уже у меня было... также и с категориями... админку закрыл, т.к. ее тоже поисковик как-то индексировал... cgi-bin я думаю в индексе делать тоже нечего, таблице стилей также

Правильно?

что еще закрыть или наоборот, что открыть?

Regvps - VPS в России (http://regvps.ru/linux-vps/) и Европе. Виртуальный выделенный сервер от 250 р
S
На сайте с 28.10.2005
Offline
319
#1

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий