Дорвеи под Яндекс, беспаливный редирект, абузоустойчивость, хороший клоакинг

Пишу, определять что либо по user agent и/или referer не более чем теоретический бред и профанация.

Тут для тебя корма нет.

Теоретический бред подтверждается или опровергается практикой. А как работает у тебя? Или ты так, теоретические знания свои выложил?

Теоретеко видно издалека...

http://php.net/manual/en/function.curl-setopt.php

CURLOPT_REFERER == передаем произвольный referer

CURLOPT_USERAGENT == передаем произвольный юзер агент.

ты это, дай адрес где у тебя чудо скрипт сей работает, посмотришь как он будет условия свои выполнять :)

Автор, правильно говорят про Useragent и Referrer

Вон люди палили как у Google боты даже регистрацию заканчивают на форумах да сервисах, полностью эмулируя действия пользователя и работая без подписи.

Параноя?

Вобщето имелось в виду насобирать базу ип адресов с которых ходит бот яндекса, и потом целым подсетям отдавать контент без редеиректов.

---------- Добавлено 06.11.2012 в 18:15 ----------

если сам не насобирал базу можно в нете поискать - тут например - http://user-agent-string.info/list-of-ua/bot-detail?bot=YandexBot

а что насчет обратного dns lookup по ip ?

После определения имени хоста, Вы можете проверить, принадлежит ли он Яндексу. Имена всех роботов Яндекса заканчиваются на 'yandex.ru', 'yandex.net' или 'yandex.com'. Если имя хоста имеет другое окончание, это означает, что робот не принадлежит Яндексу.

http://help.yandex.ru/webmaster/?id=1076102

Делайте редирект на 60% ваших страниц, вот вам и поведенческий фактор, да, будете терять 40% траффа, но доры дольше проживут, ну или другой процент.

Доры вам - это не сиджи, чтобы играться, меняя ским. Терять процент трафа с золотого дора не целесообразно.

Разумнее потратить свое время и силы на классный шаблон, чтобы сходу не был очевиден факт автоматической генерации контента.

Плюс разумный слив трафика: никаких htaccess, js-редиректов, location в header, ни подгрузки через Ajax (если кто не в курсе, не так давно многие еще делали ajax через js timer, это пркоатывало на ура)...

Только аккуратный, чистый и рассудительный переход с дора куда надо по ссылке, которую нажимает сам юзер. Желательно, чтобы перед этим он покликал пару-тройку ссылок (промежуточные страницы).

потерто 10 разз

maxwell, не пали школоте работу дорвейщика - пусть собирают базы и клоачат себе :) Нам же легче работать будет.