Атака поисковых ботов - ака спам

:popcorn: Ну я так подискутировать собственно. Не хочу сказать, что хорошо это или плохо но все же просто в голову пришло.

Когда в ящики стали валиться туча спама, тогда даже в майл ру не было антиспам фильтров и я руками вносил в фильтры не получать письма от того того .. конечно это не помогало. Это сжирало кучу моего времени, куча трафика тогда был у меня еще модем 36.6 :), а связьинформ просто расточительно "радовался" такому положению вещей. Ну вот пришли умные люди сделали антиспам фильтры используя всякие умные технологии, и все стало гуд. Почти гуд :).

Живут у меня ресурсы некоторые, где се траф реально НЕ НУЖЕН вообще, ну вот и боты там НЕ НУЖНЫ вообще, там всяческие ограничения особо то и не помогают :) только по IP если блокируешь то отваливается а так как вцепиться - фиг прогонишь :). Я не приглашал бота, я сайт делал не для бота а для людей, я не хочу ходить допустим по всем поисковым системам и смотреть какие они для меня придумали правила ... чтоб их бот ко мне не ходил. А таки атаки продолжаются, выкачивается очень много трафика, а это мои деньги я за него плачу за каждый гиг. Даже если я ставлю допустим запрет robots.txt ВСЕМ, какая то часть отваливается а какая то остается и все равно бегает внутри. Байду вообще бешеный :), бинг тоже. По моему мнению это как спам. Я же делал не для ботов ресурс а для людей, не нужны они мне там. :idea:

Когда умные люди придумают блокировки для ботов? Ака против майлспама. А то против спамер вон суды, бабло люди выигрывают, а тут в наглую весь инет ддосится надо это или не надо ... даже вон читал и внутренние запчасти сайтов индексируются.

Мне кажется положение вещей должно быть иное. Хочешь чтоб тебя он добавил и у тебя ходил: добавься сам, подтверди что это твой сайт и радуйся. В противном случае я думаю это не совсем правильно.