Мне никто не ответит?
Подскажите несведущей. В robots.txt следует запрещать директории, которые видны в строке браузера или все ненужные пользователю? Вот, например, если есть директория INC, откуда берутся инклуды, ее надо запрещать или паук ее и так не увидит? И зачем многие запрещают индексирование директории с графикой типа IMAGES?
