Как оптимизировать robot.txt для конкретного поисковика?? (Y,R,A)

зачем оптимизировать robots.txt?

И что это вообще такое известно?

www.pdd-razbor.ru

У меня ощущение, что поисковики тормозят с индексацией новых страниц (где-то 5-7 в неделю).

Я отношусь скорее чайникам, ну может быть не алюминивым, а заварным.

Поэтому может быть удивил своим вопросом.

от robots.txt это никак не зависит.

Насчет удивления - да, удивил. Это служебный файл. С тем же успехом можно оптимизировать структуру папок в почтовом ящике. Главное, не запретить директивами robots.txt вообще индексацию сервера. Вроде корректно написано.

Спасибо. А добъюсь ли я успеха, если запрещу индексацию всего кроме желаемых файлов.

И воторой вопрос: сколько файлов индексирует поисковик за заход. Как часто заходит (среднее).

А в чем проблема? Robots.txt предназначен для запрета индексации определенных файлов, а не для разрешения это делать с другими.

Аппетит робота непредсказуем.

Абсолютно непредсказуемо. Управлять (косвенно) можно наличием ссылок на сайт.

Но не безграничен.

и объем зависит от порядка очереди документов и неких характеристик сайта ;-)) ВИЦ , ИЦ, узость/широта темы в инете ... а очередь формируется исходя из навигации ... хотя что мешает в лоб каждую страницу добавить ?

сегодня случайно обнаружил на яндексе

"Внимание! Если на Вашем сайте проиндексировано достаточно много (более 1500) документов, рекомендуем проконсультироваться с сотрудником службы поддержки пользователей (addurl@yandex-team.ru) прежде, чем производить какие-либо действия."

Обращались, когда надо было основное зеркало сайта заменить. Толку - ноль. Посоветовали сделать все так, как написано в общих правилах, то есть запретить основное зеркало к индексации. В итоге бодяга затянулась на месяц, сайт, бывший основным зеркалом, был удален из индекса, сайт, ставший основным, индексируется очень медленно, из 5К страниц, бывших в индексе ранее, проиндексировалось только около 300, причем, судя, по всему, зеркала расклеились, то есть ссылки на бывшее основное зеркало не учитываются для нового основного. В общем, зла не хватает на яндексовский саппорт. На фига тогда такие вещи писать, если все равно ничем помочь не могут.

как говориться - делай сразу правильно ...