По поводу robots.txt - все ли верно написал

D7
На сайте с 23.11.2005
Offline
114
801

Здравствуйте! Почитал на форуме про роботс.тхт, нашел в нете инфу по поводу как можно закрыть для индексации директории и отдельные файлы. Поскольку я роботс.тхт ранее не создавал и не размещал, то прошу проверить и сказать, все ли верно я сделал (не хотелось бы напортачить и потом сидеть искать причины для исправлений).

Суть такая, есть две директории, в которых лежат файлы в формате .doc и .pdf. ПС их проиндексировали и в выдаче висят ссылки на эти файлы, что необходимо убрать. Есть две страницы, на которых есть ссылки к данным документам. Страницы находятся в корне сайта. Необходимо закрыть для индексации две директории и две данные страницы всем ПС для всех ботов:

User-agent: *

Disallow: /page1.html

Disallow: /page2.html

Disallow: /docs/

Disallow: /pdf/

Disallow:

Верно ли я все указал? все остальные страницы должны быть открыты для индексации.

Marvellous
На сайте с 09.02.2006
Offline
130
#1
Disallow: /docs/
Disallow: /pdf/

Можно и без последнего слеша.

Disallow:

Это типа про запас. :)

Ну хост пропишите для галочки.

...
NickPro
На сайте с 27.07.2007
Offline
20
#2

Denisss70, зачем последний пустой Disallow?

User-agent: *

Disallow: /page1.html

Disallow: /page2.html

Disallow: /docs/

Disallow: /pdf/

Кстати после закрытия страниц в Яндексе их можно удалить http://webmaster.yandex.ru/delurl.xml

D7
На сайте с 23.11.2005
Offline
114
#3

спасибо за исправления...

LT
На сайте с 13.06.2007
Offline
95
#4

Не знаю как у яндекса, но у гугла пожешь прописать, для запрета индексации по расширениям:

User-agent: Googlebot

Disallow: /*.pdf$

Disallow: /*.doc$

кстати у яндекса есть роботс.тхт

http://www.yandex.ru/cgi-bin/test-robots

///
NickPro
На сайте с 27.07.2007
Offline
20
#5
LordsTN:
Не знаю как у яндекса, но у гугла пожешь прописать, для запрета индексации по расширениям:

Кроме Яндекса и гугла нет других поисковых систем?

Кстати яндекс тоже поддерживает спецсимволы '*' и '$'.

http://help.yandex.ru/webmaster/?id=996567#996572

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий