Подскажите софт для создания robots.txt

Дело в том что по некоторым запросам в Яндексе вылазят именно они, а не страницы сайта. Соответственно на них нет навигации и мы просто теряем посетителя.

Stromgard, если речь о сайте в подписи, можно попробовать добавить карту сайта (только doc-файлы в неё не вносите).

Нет, не он, я ж указал впервом посте www.infodez.ru...

А вот так: Disallow .doc нельзя?

Stromgard, а на www.infodez.ru почему не сделать карту и в ней прописать необходимые страницы или у Вас все 500 доков выше штмл-я?

П.С.

http://www.infodez.ru/prod_a.html - закройте ноиндексом пиктограммы, только вложенность соблюдайте.

пару ссылок вам помогут ;)

Нет.

Читать, например, здесь

Мне так и не ответили... Будет ли ЭТО работать?

Доработаный скрипт для создания списка исключений для robots.txt по маске (добавить в начало "User-Agent: *" руками)

#/bin/sh

cd /путь/к/каталогу/www/

find . -name '*.doc' | sed 'e printf "Disallow: "' | sed -e 's:./:/:' > robots.txt

редакция в 15:43, так совсем правильно получается

Это для shell?