nginx определение бота яндекса

И что? Я разве писал что там его нет?

Зачем мне поддерживать? Этим занимается например ripe. Дело администратора один раз написать не самый сложный скрипт.

Кеш устаревает, а первый запрос всегда медленный. Кроме того, я дурак и не понял как силами nginx реализовать предложенную яндексом схему.

TC - вам пишут как делать правильно, вы должны знать что это 100% яша, раз задача такая, зачем вы противоречите.

Вы писали "по днс проверять медленно". Но по ссылке речь идет не только о проверке dns.

Ну, вы же хотите достоверно определить робота? IP меняются и, что гораздо чаще - добавляются.

И вызывать его с неизвестной заранее периодичностью.

Ну так это же не обязательно *ваш* запрос.

Вы сами и ответили на свой вопрос. А вообще - у nginx есть perl и lua. Так что отрезолвить $remote_addr не проблема.

Все его подсети вычислить не трудно. Их не так уж и много.

И что? Если это вы оправдываетесь за ссылку, то не стоит. Была бы она бесполезной - я бы так и написал.

Если совсем немного подумать, то периодичность станет известной. Тем более это не играет никакого значения, ибо даже если на каждого бота заново проверять список (что естественно абсолютно бесполезно) это будет сравнимо по скорости с проверкой по днс.

Не обязательно, но в абсолютном большинстве случаев будет им.

Вы бы в самом деле использовали такие костыли?

И ведь яндекс больше любят быстрые сайтики.

---------- Добавлено 22.12.2012 в 00:12 ----------

Я даже больше скажу - вычислить очень просто.

whois -i origin AS13238 | grep route | awk '{print $2}'

Вот вам и список. А то товарищ myhand похоже думает что нужно заносить именно адреса ботов, предварительно в поте лица разыскивая их в интернетах. Трудно иначе объяснить как столько простой метод стал геморроем.

Ну "подумайте", удачи. Кто знает, может вам администраторы яндекса на домашний телефон звонят каждый раз, когда приспичит сменить IP очередному боту.

Но для большинства - это тайна. Когда они будут что-то менять в своем пуле, даже когда просто изменят информацию в своем AS (напр., добавят подсеть) - остается только гадать. Странно что это гадание вы назвали "думать".

С чего вдруг? Давайте вы будете доказывать такие спорные утверждения. Я взял из логов достаточно случайного бота - и он оказался в ns.masterhost.ru. и ns.zenon.ru. ЧЯДНТ?

Проверка PTR - не "костыль". А необходимость использования - зависит от задачи. Хочет ТС очередную эвристику или точное решение.

Как вы думаете, сколько по порядку величины занимает времени запрос ptr (не попавший в кэш, конечно)?

whois -i origin AS13238 | grep route | awk '{print $2}'

Наивный малыш. Среди этих IP есть куча тех, которые ровно никакого отношения к ботам. "Абсолютное большинство" (ц).

Где я что противоречу?

---------- Добавлено 23.12.2012 в 15:49 ----------

Ну только если кто то подделывает User-agent, а для таких пользователей блок также лишнем не будем.

---------- Добавлено 23.12.2012 в 15:50 ----------

А первая точка для чего?

Мда, а товарищ myhand действительно думает что нужно заносить именно адреса ботов 😂

Давайте и вы будете. А то я взял из логов достаточно случайного бота - и его не оказалось в нс лизвеба и топнета.

Там я писал больше про преложенную вами реализацию.

Такой большой, а не можешь сам узнать? Держи - http://ping-admin.ru/free_test/result/1356269927lhdx11zxnkb847c34ydfb.html

Я писал, что нужно проверять по юзер агенту и IP.

"Мораль: читай, что тебе пишут до конца, а потом комментируй." (ц)

Так что прекращай газировать лужу и веди себя нормально.

Костыль. Он совершенно не спасает от роботов, проверяющих на клоакинг, поэтому ничем не лучше использования IP подсетей.

И чем это мешает решению задачи? Какая разница - бот это лезет, или модератор Яндекса?

И что, есть какая-то гарантия, что PTR у них не будет содержать слово yandex?

А зачем вам адрес шлюза, за которым сидит ихняя секретутка?

Нет проблем, малыш (@dnscache.masterhost.ru):

Жду ответа на заданный ранее вопрос.

Могу (и более того - знаю), но интересует меня - ваша оценка. Пожалуйста, выдайте ее. В абсолютных числах, в процентах - как сумеете, на многое от вас я не расчитываю. Статистику, а не результат отдельной проверки.

И лучше, конечно, в качестве примера брать более типовой сайт, нежели xml.yandex.ru. Надеюсь, сумеете сообразить почему?

Я прекрасно это помню.

Вся проблема - как вы реализуете эту проверку по IP. Я предлагаю - делать так, как написано в документации. Вы - собрать все подсети яндекса из ripe и не париться.

Поясните. Вы думаете, что реально подделать ptr у ip яндекса?!

А что, кроме модераторов и поисковых ботов - там нет и ничего быть не может?

Есть, конечно. Документация.