Неправильный синтаксис, должно быть так:
Disallow: /error.php
Disallow: /zapros_error.php
ну и т.д.
answer, можно адрес сайта в личку?
Не стоит сразу обвинять оптимизатора.
Индекс цитирования с переиндексация явно никак не связан, а вот насколько часто сайт обновлялся до этого и сколько сайту от роду?
Присоединяюсь к поздравлениям!!!
Здоровья малышу и маме!
Пройдет
Индексироваться не будут все страницы, URL которых начинается с /dir/file.php, т.е. в Вашем случае dir/file.php?id=1, dir/file.php?id=1&id2=6 индексироваться не будут.
Попробуйте еще добавить
RewriteBase /
иногда помогает.
1. Надо узнать имена роботов. Для этого смотреть User-agent тех, кто с известных IP делал запросы. Общепринятая практика -- писать в User-agent имя робота и/или адрес страницы, где лежит информация про данного робота. Для этих имен и писать правила.
2. Написать директории, которые робот должен индексировать,
нельзя, следует закрыть все остальные, которые индексировать не надо.
Неправильно.
Надо в файле robots.txt на www.caching.ru в правилах для Яндекса добавить строку:
Host:www.caching.ru
В случае с Рамблером эффективнее не выдавать 404, а запретить страницы в robots.txt, процедура удаления из базы запрещенных к индексации страниц в Рамблере хорошо работает.
