Идентефикация роботов Яндекса.

Ruslay, интересно, с чего бы это роботам представляться чужими именами? И как это технически реализовать?

Конечно, таких сведений нет

Просто насколько я понимаю, значение переменной user agent формируется со стороны клиента (робота, браузера) и, в общем-то, может быть каким угодно (как заложит программер). Я собираю в кучу всех юзер агентов, заходящих на мой сайт, и иногда там появляются всякие прикольные строки типа "Hi, It's me, WebCat, I'm cheking my links".

Видимо, программер сам решает что ему передать в качестве user agent. Иногда эта строка бывает пустой.

Конечно, оффициально Яндекс представляется вышеупомянутыми именами, но, кто знает, может, он иногда заходит на сайты ингокнито. Вот об этом и хотел узнать.

Ruslay, не заходит инкогнито

Пробегал где-то в интернете слух, что Яndex ходит иногда под другими именами - дабы определить дорвеев.

А теперь представьте себе программиста Яндекса, который вместо того, чтобы делом заниматься, пишет алгоритм отправки нестандартных user-agent некоторым сайтам... С заимствованием текста, скажем, из яндекс-весны... Вам кажется, я брежу? Мне тоже :)

Да запросто... Технических сложностей абсолютно никаких нет. Ну и вспомним еще про "ХитроРобот"...

Конечно нет. Но зачем?

Это что за зверь? В соответствующей теме как-то ответа не показали ещё...

Писать алгоритмы тут и не нужно, достаточно один раз прописать строку, соответствующую любому поп-браузеру и далее гонять робота под этим ником. И тогда просто так и не узнаешь, что за этим безобидным клиентом скрывался Яндекс. Это можно использовать, чтобы вычислять те сайты, которые отдают разный контент для простых посетителей и для роботов. Я бы на месте Яндекса так и делал, а то слишком просто подсунуть ему правильные странички.

Во-первых, кроме юзер-агента есть еще ip. Во-вторых, очень хорошо что вы не на месте яндекса. В-третьих, уже была такая тема, где подробно разьяснили, почему нельзя таким образом найти клоакинг.

флаг в руки

http://company.yandex.ru/inside/job/index.xml