Благодарю, я это читала.
И все же, эта запись означает, как я и говорила, разрешение на скачивание только страниц, начинающихся с /cgi-bin. Все остальное под запретом. Мне не понятно: зачем запрещать весь сайт к индексации? Или Вы просто скопировали запись и сомневаетесь в том, что правильно ли Яндекс пишет и понимает синтаксис собственной директивы Allow: /
Или Вы спрашиваете будет ли работать, например, такая запись:
Я, конечно, извиняюсь, но строка
Disallow: /
запрещает весь сайт к индексации, по-моему.
Я новичок, простите, если глупость написала. Вопрос по robots.txt для меня тоже немаловажен.
