И еще. Вы можете запретить роботу ходить на страницы форума. Но вы не можете запретить ему подсчитывать адреса разных страниц форума, если на них есть ссылки с вашего сайта или с других сайтов.
Я вам написал, что надо сделать. Почему вы не читаете? Или читаете, но не понимаете слов?
Вы не можете запретить доступ к файлу robots.txt, роботы за ним регулярно приходят. Если в нем будут изменения, они это увидят.
А чтобы не сидеть как болван, который ничего не видит и не знает, что именно делают роботы, почитайте ссылку, которую я вам дал и почитайте логи вашего сайта.
Strelok2011, это вы с кем сейчас разговариваете?
Обратите внимание, что строка
Disallow: /forum/
НЕ запрещает индексацию страницы
/forum
Если ее тоже надо запретить, так и напишите:
Disallow: /forum
И еще. Вы можете запретить роботу ходить на страницы форума. Но вы не можете запретить ему подсчитывать адреса разных страниц форума, если на них есть ссылки с вашего сайта или с других сайтов.
Каждый раз когда бот запрашивал сайт ему выдавалась новая сессия
Ну и закройте эти урлы в robots.txt , доработайте движок.
какие-то технологии, при которых такое возможно?
Просто кто-то не дал вам доступ по FTP к своему сайту. Конечно это возможно.
использует поисковую выдачу google. Движок? Свой, самописный
А зачем тогда свой поисковый движок, если использует выдачу Гугла?
И вообще, зачем одно и то же обсуждать в новой теме, если одна уже есть?
Яшкин))...
Тут как бы не курилка для шуток.
Да, нормально. Но уж очень большие интервалы, ИМХО.
Посмотрите по логам, какие боты больше всего мучали ваш сайт.
И думайте, почему не справляется хостинг - криво сделан сайт или фиговый хостинг.
сайт полностью соответствует поисковому запросу
Угадайте, сколько сайтов полностью соответствует запросу "пластиковые окна" и сколько из них находится в топ-10.
Я вам написал, что надо сделать. Почему вы не читаете? Или читаете, но не понимаете слов?
Вы не можете запретить доступ к файлу robots.txt, роботы за ним регулярно приходят. Если в нем будут изменения, они это увидят.
А чтобы не сидеть как болван, который ничего не видит и не знает, что именно делают роботы, почитайте ссылку, которую я вам дал и почитайте логи вашего сайта.
Закрыл индексацию на сайте
Как именно закрыли?
Попробуйте эту директиву и откройте индексацию обратно.