Нужен ли robots.txt ?

Если закрывать ничего не надо, то можно сделать следующее:

1. Не создавать robots.txt;

2. создать пустой;

3. создать по всем правилам и разрешить индексировать все.

в первых двух случаях робот волен поступать на свое усмотрение, в третьем я ему даю определенные инструкции, что несколько греет душу :).

Важно, что результат будет одинаковый.

http://www.robotstxt.org/wc/norobots.html

Роботы ищут?!

AFAIK, иконка -- прерогатива браузера.

Cherny, насчет favicon - ты прав.

Не там посмотрел.

Господа,

Вы кое что путаете: файлы robots.txt никогда не были стандартом - это не более, чем рекомендация, которая используется всеми т.к. она удобна. Если кто-то не использует robots.txt (как индексатор поисковика с KM.ru) его за это ругать никто не имеет право. Однако, часто в таких случаях у таких роботов начинаются проблемы с доступом к особо интересным сайтам... ;)

роботс.тхт является стандартом, но не для сайто-стоения, а для роботов, а точнее их поведения. и регламентирован в инструкциях по их созданию. своего рода культура программирования.

в этих же регламентах сказано, что при отсутствии обсуждаемого файл, робот должен вести себя обычным образом, т.е. жрать можно все что найдешь.

эти регламенты как правило находятся в учебниках по перлу и пхп. прочтя их, можно сделать выводы, нужен он в вашем случае, или нет.

некоторые из них (роботов) ими пренебрегают, но это офф-топик...

а как вам такой аспект:

указав в роботе директории вида /admin, /adm, /test и т.д.

вы упрощаете хакеру поиск точек для взлома сайта

Если на файлы в этих директориях есть ссылки, то хакер их и так найдет. Зачем только такие ссылки ставить?

А если ссылок нет, то и указывать их в robots.txt совершенно незачем.

Сервер надо настраивать правильно + скрипты писать аккуратно.

Если такое и бывает, то туда ему и дорога, этому роботу. У всех мало-мальски достойных поисковиков роботы, не найдя robots.txt, справедливо полагают, что индексировать можно все, чем и занимаются.

wolf, вечно ты придираешься :)

А остальные пункты не хочешь прокомментировать? ;)

А что тут комментрировать? Если хочешь что-то запретить - выкладывай robots.txt с соответствующими директивами, если ничего не хочешь запрещать - то он и не нужен вовсе.

Всем привет!

Достоверно знаю вот что:

1. Рамблер и Яндекс учитывают файл для индексирования разделов (лично общался с их администрациями по поводу раскрутки сайтов клиентов)

2. Дикий прикол - если этот файл не поставить в корень домена третьего уровня (мы обычно на такие домены ставим тестовые версии сайтов, чтобы клиент свой сайт мог посмотреть), и не "запереть" разделы, то Яндекс и Рамблер, не найдя этот файл, проиндексирует сайт (домен), который вы не хотите индексировать, но на который где-нибудь есть ссылка. Мы так с одним тестовым сайтом заняли первое место в Яндексе, сами того не желая😂 Причем текст стоял тестовый, с каких-то новостей сдёрнутый.