Интересные переходы с закладок

pegs, если это автоматическая проверка на клоакинг и пр., то нужно организовать работу ботов ПС на чужих мощностях, а это масса и технических, и организационных проблем: нужно размещать своё оборудование в ДЦ провайдеров, обеспечить должную маршрутизацию (отличную от выделения ip конечным клиентам), сделать отдельный канал до ДЦ Яндекса, и т.п., и всё это оформить юридически.

Не думаю, что у Яндекса есть соответствующие договорённости с операторами.

юни, зачем на "чужих мощностях"? Для выборки произвольного IP из пула адресов оператора? У сетей Яндекса неплохие пиринговые отношения (судя по показателям) с Совинтелом, так что вполне допускаю наличие дополнительных договоренностей и каналов связи. Так же и с некоторыми другими операторами. Не думаю, что у Яндекса с этим могут возникнуть проблемы. Да и организовать всё это технически для такой компании, как Яндекс, не составит большого труда. А юридически - "обычной" договор об оказании услуг связи, счета, оплаты и т.п.

Хех. А каких именно? Мне, на похожую просьбу, один из подмосковных операторов до сих пор тщится отдельный договор составлять. "Аренда места в стойке под оборудование клиента", а всё остальное - устные договорённости с менеджером, нач. тех. отдела и старшим инженером, отвечающим за bgp.

Непонимание возникает по малейшему чиху, к слову говоря, народ без документации только после изрядных матов способен работать.

Это на здоровье, но ведь речь-то о другом. Фактически, нужно запускать свои программы из под чужих пулов - т.е., физическое железо (сервера и маршрутизаторы) должно находится в непосредственной связи.

Ну, не GRE-тоннелями же решать такие задачи?

Организовать канал связи между, например, Совинтелом и площадкой компании Яндекс вопрос денег. И не думаю, что это может вызвать проблемы. Какие у них конкретные взаимоотношения это уже вопрос к Яндексу и операторам. Вряд ли это bgp, это скорее "обычное" клиентское подключение компании к провайдеру, хотя не вижу проблем с размещением в ДЦ оператора своих серверов. Как конкретно у них реализовано массовое выделение IP - это уже вопрос их договоренностей и ПО от Яндекса. Кстати в этих связках Яндекс начал использовать не только IP московских операторов связи, очевидна гибкость их ПО.

pegs, мне как-то трудно представить, что Яндекс для проверки поискового индекса на клоакинг использует "клиентское" какое-нибудь PPPoE-подключение. :) Наиболее вероятной по прежнему видится работа вручную через тот или иной специфический софт.

Впрочем, да, пока мы можем только предполагать.

pegs, а почему бы и нет? :) если это нужно для дела. Подключение сразу 100 или 1000 одновременных динамических соединений с каждым провайдером, периодическое их обновление, ротация IP в запросах бота т.п. Главная цель Я. - максимальная имитация действий пользователей, (по понятным причинам) не имеющих отношения к компании Яндекс. А тут bgp не поможет.

В данном случае, анализируя такие пачки запросов, очевидно, что работа ведется не вручную. Как указывалось выше в такой пачке используются разные IP-шники (часто от нескольких провайдеров), что очевидно говорит о наличии некой системы подключенной к разным провайдерам с динамическими IP. А уж кто использует эту систему - бот или сотрудник Яндекса – уже частный случай. Но учитывая, что у Я. не хват сотрудников и никаких денег для анализа вручную таких объемов, то склоняюсь к версии, что в большей степени этой системой пользуется "бот" :)

Это да. Но правду нам всё равно не скажут :)

юни, повторю то, что я писал немного выше:

тогда мне показалось, что это живой человек, но потом повторно анализируя логи я все же пришёл ко мнению, что это был скорее всего бот. Но эти боты немного продвинутей того, хоть и более непонятней.

Вручную просто не реально проверять с такой периодичностью по практически всем проектам/доменам. Да и большого смысла в этом нет. Ну, а желание максимально сымитировать действия пользователя, не связанного с компанией Я., для анализатора вирусов, клоакинга и пр.радостей жизни вполне понятно :)

Ну, а бот этот действительно продвинутый – прекрасно понимает редиректы, мета/рефреш, js, css, графику.

То есть, по факту мы будем иметь заходы этих ботов, но в статистике ли.ру они не отображаются? (лень в логи лезть чтобы поискать есть они или нет :) )

Dreammaker, да.

По факту мы (сайты вообще, а не статистика liveinternet) и так имеем величайшее множество заходов ботов.