Нужен ли robots.txt ?

Очень хорошо. Раз это стандарт, будьте бак добры, дайте ссылку на официальный текст этого стандарта.

Давайте не будем путать божий дар с яичницей.

Есть понятие "стандарт де-юре" и понятие "стандарт де-факто". Второе из них нельзя называть просто словом "стандарт", т.к. это не более, чем договоренность.

Да, я знаю, что неиспользование robots.txt роботом чревато тем, что его владельцев запинают. Но это НЕ стандарт - это рекомендация.

Вот Вам ссылка на наиболее официальный текст: http://www.robotstxt.org/wc/norobots-rfc.html

Надеюсь, шапку документа (особенно слово "draft") перевести будет не сложно.

Никакого прикола. Если нет файла robots.txt, робот имеет полное право поступать так, как ему хочется.

Даже если такой файл есть, робот может постепать так, как хочет (см. выше). Правда его создателей запинают за такое. :)

Подскажите несведущей. В robots.txt следует запрещать директории, которые видны в строке браузера или все ненужные пользователю? Вот, например, если есть директория INC, откуда берутся инклуды, ее надо запрещать или паук ее и так не увидит? И зачем многие запрещают индексирование директории с графикой типа IMAGES?

Роботс.тхт полезен, если у вас несколько зеркал - в нем вы можете указать главный сайт(для яндекса директива хост:) Разделы /адм /админ и прочие итак проверяют хакеры регулярно, и у меня тоже, хотя в роботсе(да и на сервере) у меня их вовсе нет(каталогов этих). С другой стороны некоторые поисковики просто забивают на диссалоу, так что им все равно, есть у вас роботс или нет.

Кстати, господа и дамы - мне в одной ветке(мной начатой) так ни кто и не ответил по поводу расширений роботс.тхт для разных SE. Что, никто не знает или делиться не хотите ;) ??

есть еще такое соображение: отсутствие robots.txt забивает логи сервера ошибкой 404 при попытке роботов обратиться к этому файлу, что несколько портит общую картину статистики :)

Лично мне вопрос показался праздным\чисто академическим, без какой-либо насущной необходимости - отвечать на такие не очень-то и хочеться - не совсем понятно для чего Вам нужны эти расширения - для расширения кругозора? Некоторые роботы стандартные команды из robots.txt неправильно обрабатывают или не обрабатывают вообще, а Вы о расширениях говорите - по моему это как-то не актуально.

Я сделал robots.txt на 50% по этой причине - робот c alltheweb замучил!!!

Мне никто не ответит?

Следует запрещать директории, которые видны в строке браузера. То, к чему пользователи непосредственно не обращаются - надо запрещать через .htaccess. Директории с графикой запрещают, чтобы сэкономить трафик.

Надо запрещать секретные дирректории обязательно, но делать это так:

запретить каталок ЛАЛАЛА и все что в нем

в этом каталоге сделать нормальный секретный каталог.

Положить в ЛАЛАЛА индекс.хтмл, чтобы не вываливался лист директорий, с урлом или редиректом на головную страницу.