robots.txt и доры?

A1

20

alex-1

5 мая 2009, 12:55

#21

Crawl-delay: интервал

107

xumukys

5 мая 2009, 13:05

#22

alex-1:
Crawl-delay: интервал

в каких единицах он указывается ? секунды? для яндекса работать будет?

127

otakuran

5 мая 2009, 16:36

#23

xumukys:
в каких единицах он указывается ? секунды? для яндекса работать будет?

Указывается в секундах, для яндекса работает. Поробнее тут

30

torbl4

13 мая 2009, 15:39

#24

Чтобы запретить индексацию отдельных страниц правильно писать так:

Disallow: /страница1.html

Disallow: /страница2.html

?