nginx определение бота яндекса

Ну, та же трассировка, в некоторых чёрных схемах запутанных случаях, может существенно облегчить видение общей картины.

Кроме того, у Яндекса несколько автономок, организаций, роут- и mnt-объектов. Не говоря про нетнеймы с абузными ящиками (кстати, это будет вполне достоверным способом проверки - ручная переписка с NOC'ом по адресам @яндекс (доменов тоже с десяток где-то), дабы они подтвердили принадлежность сети им).

И да, подсети у них не только райповские (к примеру, одна из сеток).

От них, подозреваю, вообще ничто не спасёт: первое решение для проверки на клоакинг, приходящее в голову - использовать чужие мощности вместо собственных.

Самое правильное решение, это делать проверку по юзерагенту средствами нгинкс, а потом проверенный проверять бекрезолвом средствами пхп. В одном проекте так работает, проблем не возникает, и особоумные идут лесом.

Реально подделать prt у своих IP. У тех, которые зареганы на меня, я могу прописать любой ptr.

Классический пример "подделки" был с роботом Рамблера:

nslookup robot8.rambler.ru -> 81.222.64.10

nslookup 81.222.64.10 -> ds701-002.eltel.net

но сейчас DNS уже снят.

Большинство яндексовских IP(включая секретарш) находятся в корпоративном домене yandex (ru/net/com) и будут резолвиться так же как и боты - содержать слово yandex.

Навскидку, из логов:

95.108.137.131, 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_2) AppleWebKit/536.5 (KHTML, like Gecko) YaBrowser/1.1.1084.5409 Chrome/19.1.1084.5409 Safari/536.5'

93.158.155.137, 'Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots)'

резолвятся одинаково -> yandex.net -> yandex.ru

А IP из примера юни - вообще не резолвятся и не трассируются на yandex.

Яндексовские проверяльщики на клоакинг ходят через анонимные прокси с IP Корбины и других провайдеров.

PS: Все методы имеют право на жизнь и имеют свои достоинства/недостатки.

А вот, что делать с IP V6??

Поясните, пожалуйста, незнающему.

Обратный резолв, это когда мы берем IP адрес и по этому адресу должен открыться нужный нам домен?

То есть, если все правильно настроено, то проверка на корректный обратный резолв такая:

Берем домен, определяем какой по нему отдается ИП адрес, далее если мы обращаемся к этому ИП адресу напрямую, то в ответе мы должны также получить этот же домен. Все верно? Если мы получаем другой домен, то проверку можем считать неудавшейся.

Ну и зачем мне эта тупость? Да и это еще бабушка надвое сказала: если зону для ptr поддерживает ваш хостер/провайдер, то они могут и аккуратно относиться к тому, что пишут себе в зону. Если вам разрешали писать "что угодно" - поздравляю, вероятно вы работаете с долбоебами.

Вы расскажите как у яндекса ptr подделать, милейший.

Еще одна жертва развалившегося школьного образования? Ты не думай - ты верь! (ц)

А вот если вы *проверите* это утверждение (как список сетей вытащить в картинках рассказали выше) - вы обнаружите, что *большинство* ip не резолвится вовсе.

Грубо говоря, PTR-запись - связывает IP адрес с его каноническим доменным именем.

Полагаю, там ручная проверка (либо максимально приближенная к таковой автоматическая), включающая реальный ip, "реальный" браузер с типичным окружением и т.п.

В России доступ к ПС по v6 появится тогда, когда появится безпроблемный пиринг с 50-80 процентами местных операторов (т.е. возрастёт относительная доля v6 в поисковых запросах). До этого момента внедрять поддержку не очень-то рационально.

К примеру, насколько я знаю, сейчас не будет работать та же персонализация, как и не все алгоритмы ранжирования - в Яндексе внутренняя сеть построена на v4 и только найти, какие нужные алгоритмам данные теряются при туннелировании v6/v4, уже потребует некоторого времени.

Пару лет назад нас знакомили с подобными фокусами (в конце темы даже пример с накруткой есть, кажись). Кроме того, райп тогда ещё не сильно лютовал и вполне можно было взять себе сети на данные, совпадающие с данными любой организации вплоть до закрывающих мантейнеров.

То бишь, если сильно захотеть, то можно прикинуться кем угодно. И распознать чужую сеть получится только после детального анализа маршрутов из разных точек, карты на RIS/робтексе и переписки с аплинками (на предмет объёма трафика, к примеру).

А толку подделывать, если суть проверки заключается в том, что прямой резолв должен совпадать с обратным и быть в зонах yandex.(net|com|ru), которые принадлежат известно кому. Так что в PTR можно написать что хочешь, но вот как заставить Яндекс сделать парочку А-записей на свои айпи - вот в чем вопрос?

---------- Добавлено 24.12.2012 в 13:01 ----------

А толку подделывать, если суть проверки заключается в том, что прямой резолв должен совпадать с обратным и быть в зонах yandex.(net|com|ru), которые принадлежат известно кому. Так что в PTR можно написать что хочешь, но вот как заставить Яндекс сделать парочку А-записей на свои айпи - вот в чем вопрос?

---------- Добавлено 24.12.2012 в 13:08 ----------

Проверка выглядит так:

$config['general']['searchengine'] = false;
if (isset($_SERVER["HTTP_USER_AGENT"]) && preg_match('/Googlebot|YandexBot|Yahoo!\sSlurp/si',$_SERVER["HTTP_USER_AGENT"])) {
 $name = gethostbyaddr(func_get_real_ip());
 $host = gethostbyname($name);
 if (preg_match('/(Googlebot\.com|yandex\.(ru|com|net)|yahoo\.com)$/si',$name)) {
   if ($host == func_get_real_ip()){
     $config['general']['searchengine'] = true;
   }
 }
}

Это тоже, но я тут немного на другое указал: хороший провайдер, который поддерживает PTR для ваших IP - проверяет обратки, которые вы хотите создать.