Ваш robots.txt

Может это для Вас пока секрет, но все мы учимся. Набираете в адресной строке броузера адрес интересующего Вас сайта, дописываете robots.txt и смотрите содержимое.

Вот, например, для этого форума:

<del> выше уже ответили.

Обязательно свой? Мне вот этот нравится :)

http://www.webmasterworld.com/robots.txt

2 Matsa

Как Вы представляете себе несколько robots.txt в одной директории? :p

Хотелось бы подробностей, что лучше, а что хуже:)

Но всё равно спасибо...

Я слыхал, что роботсы вместе страницами делают

под каждый поисковик. А структура сайта может

быть разная. не обязательно все используют index.html и test.html.

Бывает и просто index/ test/

Matsa, файл robots.txt может находиться только в корневой директории сайта. Вы, в принципе, можете расположить их где угодно, но поисковые роботы не будут их считывать.

У каждого поискового робота есть соё имя. В файле robots.txt к ним обращаются как User-agent: .

Вы можете написать:

User-agent: Yandex

Disallow: /UPLOAD/

Это значит запретить поисковому роботу Яндекса индексировать каталог UPLOAD.

А после этого добавить:

User-agent: Slurp

Disallow: /DOCUMENT/

Это значит - запретить поисковому роботу Яху индекировать каталог DOCUMENT.

И так далее.

Если директива пишется для всех поисковиков, то ставится звёздочка:

User-agent: *

И воспользуйтесь кнопкой поиска по форуму. Здесь много информации на эту тему.

а если его совсем нет на сайте что тогда?

На нет и суда нет... :)

СКОРПИОН,

Собственно robots.txt используется только для запрета определных каталогов для индексации? Больше не для каких целей это файл не используют?

Да, этот файл предназначен исключительно для роботов.

Почитайте здесь:

http://www.citforum.ru/internet/search/rbtspec.shtml