Чтобы разрешить доступ робота к некоторым частям сайта или сайту целиком, используйте директиву 'Allow'. Примеры:
User-agent: Yandex Allow: /cgi-bin Disallow: / # запрещает скачивать все, кроме страниц # начинающихся с '/cgi-bin'
И все же, эта запись означает, как я и говорила, разрешение на скачивание только страниц, начинающихся с /cgi-bin. Все остальное под запретом. Мне не понятно: зачем запрещать весь сайт к индексации? Или Вы просто скопировали запись и сомневаетесь в том, что правильно ли Яндекс пишет и понимает синтаксис собственной директивы Allow: /
Или Вы спрашиваете будет ли работать, например, такая запись:
Благодарю, я это читала.
User-agent: Yandex
Allow: /cgi-bin
Disallow: /
# запрещает скачивать все, кроме страниц
# начинающихся с '/cgi-bin'
И все же, эта запись означает, как я и говорила, разрешение на скачивание только страниц, начинающихся с /cgi-bin. Все остальное под запретом. Мне не понятно: зачем запрещать весь сайт к индексации? Или Вы просто скопировали запись и сомневаетесь в том, что правильно ли Яндекс пишет и понимает синтаксис собственной директивы Allow: /
Или Вы спрашиваете будет ли работать, например, такая запись:
Allow: /cgi-bin
Disallow: /
Я, конечно, извиняюсь, но строка
Disallow: /
запрещает весь сайт к индексации, по-моему.
Я новичок, простите, если глупость написала. Вопрос по robots.txt для меня тоже немаловажен.