Ваш robots.txt

ничем, кроме ПОЛНОЙ индексации всего сайта

я так понимаю все что находиться на сайте будет все индексировано?😮 и все папки что находятся на сайте? а вопрос рне по теме, как можно закрыть папки на сайте чтобы люди не могли просматреть все находится на сайте...

Всё, до чего робот дотянется. Как правило, он дотягивается до того, на что стоят ссылки. Или ориентируется на подсказки с соответствующих форм. Но бывали случаи, когда индексировались и вовсе чистые страницы, на которые никто не ссылается.

По разному можно закрыть - смотря для чего.

В самом простейшем случае, что кроме прочего является ещё и хорошим тоном при создании сайтов, в каждом каталоге (папке) долен находиться файл index.html с указанием того, что отображать при обращенни к этой папке по url-адресу.

----------------------------

а как вам такой robots.txt?

User-agent: Yandex

Disallow:

Host: www.site.ru

User-agent: *

Disallow:

Никаких изысков:

"User-agent: *

Host: урл без www."

Безусловно, этот файл составляла банда идиотов. Сколько байды вбили для того, чтобы бот обработал

User-agent: *

Disallow: /

uncle Buddah, есть хорошее правило: не считай другого идиотом лишь из-за того, что он делает что-то непонятное тебе. Лучше попытайся разобраться, зачем и что он делает.

http://www.google.com/search?&q=allinurl:www.webmasterworld.com/+site:www.webmasterworld.com

Как в том анекдоте: дура, не дура, а страничка ПР4 имеет :)

ЗЫ Правда, когда сделано для людей, можно от роботов и закрыться!