Как вариант - если бан не жёсткий и робот посещает, то попытаться приклеить к своему СДЛ, таким образом вы за стоимость регистрации покупаете себе старинные ссылки "датированные 2007 годом" навсегда.
"Больше половины" чем считали? На глаз?
Пример на вскидку - http://extrim20.ru/blog/41.html взято отсюда http://www.7ya.ru/pub/article.aspx?id=6215 , а те в свою очередь отсюда http://www.2mm.ru/dosug/661
Дай бог бы 20%.
На здоровье, чтение и поиск еще никому не вредили. Кстати, советую все таки не давать всяким роботам читать директории с папками и всем их содержимым - хостинг целее будет.
Эта, вам надо книжки почитать, типа, интернет для чайников.
Тут нечего обсуждать, ТС не знаком с матчастью.
Каким образом зацепит? Листинг директорий что-ли не настроен? Тогда результат быстрой "индексации" принесет неприятные последствия.
...голос из Катманду -
<!--WEB-->, я даже не рассчитываю на какие либо аргументы от тебя, так как обычно ты сливаешься из темы после того как тебя ловят на слове. Можешь продолжать бредить.
Да пусть пишет, у нас - гласность. А может все-таки рассмотрим вариант привлечения к ответственности Вконтакте? Почему он доступ к государственным и официальным сайтам не предоставляет на главной странице?
<!--WEB-->, у вас есть сайт с нормальной посещаемостью? Если есть, быстро ставьте ссылку на минстранс, не то вы сами будете препятствовать законному праву граждан России на доступ к информации.
С какой стати Яндекс отличается от любого другого сайта? Почему Вконтакте не нарушает законы, хотя и посещаемость выше, а ссылок на минтранс нету? Где юристы???
Вы уникальность текста хотя бы главной проверяли? Видно, что нет.
По теме: часто бывает, что делается неграмотный прогон - в качестве описания берется текст с главной (ну он типа самый уникальный на сайте). В результате текст становится дублем на тысячах каталогах. Итог плачевный.
Я так понимаю, что 8 месяцев ушло на создание ботов? Насколько они человекоподобны?
Английские шашки неспроста?
