Почему? Если обычный сайт, белый и пушистый, содержит страницы с авторедиректом, а поисковик не индексирует эти страницы (он просто перескакивает на целевую страницу), то как это может повредить сайту? Я наверное сразу неправильно выразился, поисковик не должен банить, он просто не должен "видеть" страниц с авторедиректом, как их не видит обычный пользователь браузера. Я говорю должен, не должен с позиции поисковика, т.е. если бы я был поисковик и хотел бороться с дорвеями, то сделал бы так. А они так не делают. Им не мешают дорвеи? Или есть другие причины? Этого я и не понимаю.
Я не владею дорвейными технологиями, пытаюсь в них разобраться, вернее пытаюсь понять стоит ли тратить время на то, чтобы в них разбираться. А про фашистов - это вы загнули конечно. У меня и в мыслях не было мораль сюда вплетать. Хотя реакция любопытная, я сразу фрэйда вспомнил. :)
Паук - наименее ресурсоемкая часть поисковика. Да и потом, что такое сто лишних компов для Googl-а или Microsoft-а.
По объемам базы, скорости индексации, скорости ответа на запрос уже все рекорды побиты, хотя конечно нет пределов совершенству. А вот точность ответа - это да, с ней как-то не все так здорово. Так неужели дорвеи не портят эту самую точность?
Мне наплевать на дорвеи, дорвейщиков, моральность или аморальность этого дела. Я пытаюсь понять для себя перспективы оптимизаторской деятельности, стоит ли с этим связываться, не умрет ли все это в ближайшем будущем.