robots.txt - нафига?

[Удален]
320

С месяц назад добавил пару строк в robots.txt: запретил форму отправки сообщений на мейл и форму личных сообщений.

Disallow: /index.php?act=Msg

Disallow: /index.php?act=Mail
Для гугла и яндекса проверил через панели вебмастера, всё гуд, страницы запрещены к индексации.

И после этого началось: логи действий поисковок пухнут от заходов яндекса и яхи именно на эти страницы; в панели вебмастера яндекса счетчик ошибок сканирования с обоснование "запрещенов в robots.txt" вырос до 28 тысяч. И поиск яндекса продолжает находить эти страницы.

Я вроде не первый год двигаю сайты, но с такой ерундой встречаюсь впервые. Чувствую себя новичком, прошу "помощи зала".:D

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий