Правильно ли создан robots.txt ?

1 23
siv1987
На сайте с 02.04.2009
Offline
427
#21
vertuhay2:
Я тут нашел статью про роботс для дле что скажите?

Там автор предлагает вместо роботс-а юзать метатег роботс. Почитайте, чем он это решение мотивирует, если вас это устраивает и вам не лень будет лезть в исходниках - юзайте.

L
На сайте с 11.02.2013
Offline
18
#22
gigs2:
Добрый день, у меня такой вопрос, мне нужно в robots.txt закрить папки blocks, admin и js. Я для этого прописал вот такое:

User-Agent: *
Disallow: /blocks/
Disallow: /admin/
Disallow: /js/

Правильно ли я все прописал ?

Да. А в чем собственно проблема?

Только учтите, что картинки из этих папок тоже из индекса уйдут

1 23

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий