Ну то что он проиндексировался это не проблема, пару раз бот ответа от сервера не получит и все.
А хостеру вашему наверное нужно сервера мощнее ставить или поменьше пользователей на один сервер вешать.
Shapranov Pavel, Я так и не пойму вы пытаетесь для себя оправдать их поведение или хотите решить эту проблему?
Они могут писать все что угодно, но бан бота крупнейшей поисковой системы рунета показывает что они вам не предоставляют услугу в полном объеме.
Бред в сети столько сайтов и большинство в рускоязычном сегменте индексируются яндексом без всяких проблем. И если хостер настолько глуп то его лучше поменять. И чем быстрее тем лучше. Ведь именно он наносит вам сейчас убытки своим непрофессиональным поведением.
Если это реальные цыфры то это может говорить только о не эффективном управлении метрополитеном.
Они уже сделали эксперемент с монорельсовым метро, где проезд стоит 50 рублей. И теперь с удивлением обнаружили что местным жителям за такую цену это метро нафиг не нужно.
Если это действительно какие то технические сбои и проблемы смогли использовать для пиара то можно только поздравить их с грамотным ходом.
А ведь под такие обвинения можно подвести любой форум.
Ну радоваться или нет решать вам, но думаю что если он серьезно тянет ресурсы то его проще запретить. Тем более если сайт на русском.
ASpider (Associative Spider)
Читайте о нем: http://www.robotstxt.org/wc/active/html/aspider.html
Shapranov Pavel, Зайдите на те форумы которые вам нравятся и на которых вам удобно и комфортно общаться. Посмотрите какие скрипты установлены на них и потом уж выбирайте какой вам более по душе и по кошельку подходит.
Да ничего он не стоит, только если оптимизатор для пиара сайт сделает для своих коллег, да и то скорее не покатит. Обычные пользователи не поймут о чем речь.