Ну вот, зря я их обвинял :) Правда информации они мне не дали.
Спасибо огромное.
Бабла срубить. Много бабла, гугль богатый :)
Хотя тут еще вопрос - являются ли данные объектом авторского права
Так они давно так делают, просто надо почаще в эту ветку заходить.
И это довольно топорная работа, школьники балуются. Можно лучше
Хороший повод подать на гугль в суд и даже выиграть :)
weblad, по хорошему - надо просто допиливать движок, чтобы весь этот мусор отдавал 301 на нужные страницы или 404 (если совсем некуда редериктить) (410), но вариант с прямым запретом ботам переходить на определенные страницы - проще реализовать
В чем обман то?
У человека стоит движок, который слепили на промокашке осьмирукие восьмижопы, которые по тупой самонадеянности мнят себя программистами.
А он хочет помочь ПС не держать в базе весь этот мусорный контент, что генерирует этот осьмирукий движок, разгрузить сервера, и так забитые всяким хламом.
:)
Я думаю, он и так их знает.
Интересно, а какой процент там провайдеров - 5%? 10%?
Это, вообще, смотрят не во всяких тормозных линкападах, а пауком пробегают - Xenu, Netpeak Spider...
Оконщик, если вопрос в этом:
Да
Точно нет. Яндекс часто клал на каноникал с прибором.
Ну, или так:
Ну денег им занес на баланс и все :)
А там можно тянуть годами, или ишак помрет, или шах.