Форум Практика оптимизации Любые вопросы от новичков по оптимизации

robots.txt - так можно?

hcir
На сайте с 28.09.2006
Offline
150
hcir
330

Уважаемые гуру, на одном сайтике присутствует вот такой файл robots.txt

(директории aaa, bbb и так далее условные).

Интересуют собственно первые две строчки. Корректно ли такое? Если да, для какой цели такое может использоваться? 

<!--#if expr=" \"${HTTP_HOST}\" != \"www.site.ru\" " -->User-agent: *

Disallow: /<!--#endif --> 

User-agent: *

Disallow: /aaa/

Disallow: /bbb/

Disallow: /ccc/

Disallow: /ddd/
wbr
K
На сайте с 31.01.2001
Offline
737
Kost
#1

Если файлы *.txt обрабытываются через SSI, то вполне может быть.

Когда-то в хелпе Яндекса висел аналогичный совет с примером для 100% выбора зеркала для всех поисковиков.

Выделенные полосы в Москве (http://www.probkovorot.info) привели к снижению скорости до 23%.

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий