Strelok2011, это вы с кем сейчас разговариваете?
Обратите внимание, что строка
Disallow: /forum/
НЕ запрещает индексацию страницы
/forum
Если ее тоже надо запретить, так и напишите:
Disallow: /forum
И еще. Вы можете запретить роботу ходить на страницы форума. Но вы не можете запретить ему подсчитывать адреса разных страниц форума, если на них есть ссылки с вашего сайта или с других сайтов.
Ну и закройте эти урлы в robots.txt , доработайте движок.
Просто кто-то не дал вам доступ по FTP к своему сайту. Конечно это возможно.
А зачем тогда свой поисковый движок, если использует выдачу Гугла?
И вообще, зачем одно и то же обсуждать в новой теме, если одна уже есть?
Тут как бы не курилка для шуток.
Да, нормально. Но уж очень большие интервалы, ИМХО.
Посмотрите по логам, какие боты больше всего мучали ваш сайт.
И думайте, почему не справляется хостинг - криво сделан сайт или фиговый хостинг.
Угадайте, сколько сайтов полностью соответствует запросу "пластиковые окна" и сколько из них находится в топ-10.
Я вам написал, что надо сделать. Почему вы не читаете? Или читаете, но не понимаете слов?
Вы не можете запретить доступ к файлу robots.txt, роботы за ним регулярно приходят. Если в нем будут изменения, они это увидят.
А чтобы не сидеть как болван, который ничего не видит и не знает, что именно делают роботы, почитайте ссылку, которую я вам дал и почитайте логи вашего сайта.
Как именно закрыли?
Попробуйте эту директиву и откройте индексацию обратно.
