Угу, только бот генерирует трафика значительно больше, чем реальные посетители. А таких сайтов планируется запустить много и платить за лишний трафик не хочется.
Совет конечно крайне полезный :), учитывая то, что все что можно уже давно закрыто. Пока есть 2 варианта. Использовать компрессию для общего снижения трафика. И попытаться обмануть бот, отдавая код 304 вместо 200 и старую дату. Есть ли в этом смысл и как это правильно сделать? Неужели никто не сталкивался с такой проблемой?
Есть такое. Забавно наблюдать, как нормальные сайты в выдаче обходят нулевые каталоги, в которых эти сайты зарегистрированы.
Гугл стал активнее заниматься рунетом, вот и результаты. То ли еще будет. Когда основной трафик будет с Гугла и он введет песок для русских сайтов и отфильтрует "белые каталоги" и линкаторы, тогда будете вспоминать как хорошо было раньше с Яндексом :).
Я ругал Агаву. Было за что. Сайт так и не перенес, лениво было :). Ради справедливости хочу заметить, что они исправились. В последнее время к ним особых претензий нет.
([^/_]*)_([^/]*)
Прикольный смайлик :).
Вирусный маркетинг от Google :).
Поисковики конечно хороший, но далеко не единственный источник трафика. И интересный сайт, при грамотной раскрутке, всегда будет посещаемым, какие бы фортеля не выкидывали яндексы с гуглами.
Это чтобы не было заметно, что морда выпала :).
Ну да. Выпадение морд - это для яндекса нормально :).
