по серпу скажу, что дорвеи - мизерная толика от всего мусора, который там попадается. если ищу яндексом - постоянно натыкаюсь на "белые" гoвнocайты, гoвнoкаталоги (чтобы не было разночтений: например, с директом на полстраницы), смотреть на которые ещё противнее, чем на доры. и времени чуть больше тратится, прежде чем понимаешь, что это "кукла".
сейчас, когда выдачей рулят оптимизаторы (например, покупкой ссылок и вставкой нужных кеев с нужной плотностью и интервалом в накорябанный копирайтером гoвнoтекст), оптимизация - то же изготовление дорвея. только ручками и более нудное.
я по привычке лезу в яндекс и каждый раз чертыхаясь сваливаю в гугл :) не из-за дорвеев, а из-за беляков :)
так что многие беляки точно так же паразитирует на ПС, как и дорвейщики :)
пс: не про всех белых оптимизаторов говорю, конечно, и местами утрирую. так что не принимайте близко к сердцу, если кого обидел
псс: чуть ли не единственный безусловный вред дорвеев - куча спама в гестах, форумах и тд. это, конечно, абсолютное зло в большенстве проявлений :-D
налепили мне минусов в репу целую кучу из-за поста про 500-1000 уе в день. наверное, из-за того, что про лень не написал ;)
ну так вот, я, борясь с жесточайшими приступами этой самой лени, переступая через себя, забиваю в месяц 20 доменов и постоянно тушу в топе 2клика :) тратится на это дело в сумме неделя, если работать чуть больше, чем по полдня. софт уже полгода не переписываю :) и, поверьте, ничего хитрого я не делаю и программлю хреновенько. так что приложив немного мозгов и усилий, эти деньги зарабатывать более, чем реально,. посмотрите в те же самые топы. + других партнёрок целая куча.
по поводу хрумы, я тоже широкомасштабный спам не люблю, но выскажусь. недавно смотрел серпы яндекса, килотонну доров видел, которые выведены хрумером. доров было много и сидели они жирно. кстати, прeвeд бегуну от рупоиска, с одного из этих доров по некоммерческой тематике меня автокликнуло по "автозапчастям" :)
хостинг в Малайзии (Kuala Lumpur) был - абузят, по всей вероятности (а может и из-за ценника)
set_time_limit(0) не на всех хостингах работает
а так:
куки
таймаут
правильные урлы и реферер
20 к за раз можно содрать
я думаю, что хитроботам не проблема добраться до кода обработки трафика (в большинстве случаев) :)
другое дело, как они будут его трактовать.
если клоачить, то данные надо собирать по большому количеству доменов, плюс надо иметь в виду, что поменять ип хитроботу не великая проблема. а отслеживание поведения на странице мне, например, не очень понятно как реализуется.
мне интересно просматривать логи сервера, и я вижу, что постоянно пролазит на фид всякая бяка сомнительная с гугла (он даже с ипов своих дёргает страницу, цсс и js), рамы (рама в последние пару месяцев очень поумнел) и яндекса (яндекс делает поизящнее, так что хз что там на самом деле).
плюс не стоит забывать о всяких там тулбарах. я, конечно, их не ковырял, но передавать они могут всё, что угодно. например, постоянное перемещение пользователей с сайта а на сайт б :) пусть даже с 2-3 секундной задержкой.
хотя, живут доры и с редиком. постоянно в серпе такие вижу.
опять же, это только мои наблюдения, рассуждения и мнение.
так выдачу же формируют заранее, а в апдейт только результаты обработки этих данных выкладывают. разве не так?
плюс серверов у яндекса очень много, и их количество постоянно растёт, так что не в этом дело, скорее всего :)
купил - молодец :)
а парсить надо не руками, а своей парсилкой :)
Qvent, я белым сео не занимаюсь и базу пастухова не использую (и не собираюсь) :)
я просто посоветовал, как за 50 баксов можно поиметь очень неплохую базу кивордов. если умеешь программить - баксов за 15-20 покупаешь хостинг и ******. для многих эта экономия очень существенная.
а имея 100к кивордов уже можно делать 100-300 в день.
для белого сео, вроде как, больше подходит. а так, дороговата.
более чем достаточное количество нормальных кеев можно собрать за недельку-полторы, и стоить это будет около 50 баксов (заказать скрипт + хостинг с айпихами)
да ещё софт останется, который в любое время можно использовать снова.
плюс на этом хостинге можно доров пачечку клепануть :)
чистое здоровье :)
на мой скромный взгляд, кеи лучше парсить самостоятельно. софт очень простой, заказать можно за копейки. если подойти с умом, в день напарсить 100-200к не вопрос. а это немало.
база пастухова для дорвеев не очень подходит. по крайней мере, так говорит пара моих хороших знакомых, у которых она есть. и у меня нет ни единого повода сомневаться в их искренность :)
ad.rambler.ru/swrds/wrds.pl
+ можно запросы собирать из рефов на своих ресурсах.
