Ошибка на robotstxt.org.ru или небольшой FAQ по robots.txt

1. и так и так можно. А для яндекса ещё и * можно указывать в качестве "чего угодно в урле".

2. ANSI (впрочем, это не важно, у вас только латиница будет в файле)

3. яндекс - первый, запись со звёздочкой - последняя в списке.

4. Там, у вас, в принципе, всё верно написано. robots.txt можно также перенаправлять на скрипт, который будет генерировать нужный контент.

Папки можно закрыть паролем или сделать Forbidden (пример: RewriteRule ^my.txt$ - [F])

Спасибо !FrykT

вы имеете ввиду для каждого поддомена свой роботс?

тоже не понял :o - в зависимости от папки/языковой версии генерится определнный роботс?

(перечитал раз 6 но так и не понял)

:) - нет часть возможно придется открыть

(всегда интересовало может ли спайдер читать htaccess :) ?)

Добавлю/обозначусь итоговые вопросы:

1.В какой и главное почему последовательности ставить в роботс?

яндекс а потом все остальные ПС

или

2.Прочел Помогаем написать ФАК - зеркала с ввв и без

- задумался над схемой как правильно индексировать новый/нулевой сайт на который нет внеш ссылок?

1. в роботс указать основной хост.
2. подождать пока гугла и яндекс проиндексируют + определят зеркала + склеят
3. потом только ставить htaccess 301 с www на без www
4. поставить Sitemaps

или просто создать htaccess c 301 и в роботс прописать хост?

3.Как правильно прописать карту сайта:

для каждого поискового бота в роботс прописывать карту сайта

или через пробел в конце роботса?

Всем откликнувшимся большое спасибо!

не совсем так по первому пункту.

если у вас указано без слеша на конце, т.е. Disallow: /cgi-bin

то будет запрещен к индексации также и файл с именем cgi-bin в корневой дериктории, если он есть. если со слешем Disallow: /cgi-bin/ - то только то что в этой папке, причем даже не физически, а все URL'ы которые так начинаются.

orphelin добавил 31.08.2009 в 23:13

если сайт новый, то ждать склейки яндексом домена с www и без не имеет смысла. лучше сразу же определить главное зеркало и на него сделать 301 редирект.

Большое спасибо!!!

А по вопросам из 4го поста не подскажите🙄:o ?

Господа, если вам не сложно ответе на мо вопросы из 4го поста?

Заранее ОГРОМНОЕ СПАСИБО всем откликнувшимся!

Почитайте хелп Яндекса, там написано, как бот разбирает robots.txt.

Он ищет подстроку "yandex", если находит, то игнорирует директивы, находящиеся выше и выполняет находящиеся ниже.

То есть, вариант:

User-agent: *

Disallow: /secret



User-agent: Yandex

Host: www.domain.tld

приведет к тому, что Яндекс проиндексирует каталог secret, в отличие от прочих поисковиков.

Вот об этом нужно помнить, а кто будет сначала, кто после, на самом деле неважно.

Не надо ничего выдумывать, сразу же