Интересные переходы с закладок

1 234 5
юни
На сайте с 01.11.2005
Offline
851
#21

pegs, если это автоматическая проверка на клоакинг и пр., то нужно организовать работу ботов ПС на чужих мощностях, а это масса и технических, и организационных проблем: нужно размещать своё оборудование в ДЦ провайдеров, обеспечить должную маршрутизацию (отличную от выделения ip конечным клиентам), сделать отдельный канал до ДЦ Яндекса, и т.п., и всё это оформить юридически.

Не думаю, что у Яндекса есть соответствующие договорённости с операторами.

https://searchengines.guru/ru/forum/944108 - прокси-сервис на базе операторов домашнего интернета, сотни тысяч IP-адресов, канал от 10Мбит, https://a-parser.com/ - парсер для профессионалов SEO, маркетологов, арбитражников и SaaS
pegs
На сайте с 07.06.2007
Offline
627
#22
юни:
pegs, если это автоматическая проверка на клоакинг и пр., то нужно организовать работу ботов ПС на чужих мощностях, а это масса и технических, и организационных проблем: нужно размещать своё оборудование в ДЦ провайдеров, обеспечить должную маршрутизацию (отличную от выделения ip конечным клиентам), сделать отдельный канал до ДЦ Яндекса, и т.п., и всё это оформить юридически.

Не думаю, что у Яндекса есть соответствующие договорённости с операторами.

юни, зачем на "чужих мощностях"? Для выборки произвольного IP из пула адресов оператора? У сетей Яндекса неплохие пиринговые отношения (судя по показателям) с Совинтелом, так что вполне допускаю наличие дополнительных договоренностей и каналов связи. Так же и с некоторыми другими операторами. Не думаю, что у Яндекса с этим могут возникнуть проблемы. Да и организовать всё это технически для такой компании, как Яндекс, не составит большого труда. А юридически - "обычной" договор об оказании услуг связи, счета, оплаты и т.п.

Домен SISКI.NЕТ под сеть клиник пластической хирургии.
юни
На сайте с 01.11.2005
Offline
851
#23
pegs:
договор об оказании услуг связи

Хех. А каких именно? Мне, на похожую просьбу, один из подмосковных операторов до сих пор тщится отдельный договор составлять. "Аренда места в стойке под оборудование клиента", а всё остальное - устные договорённости с менеджером, нач. тех. отдела и старшим инженером, отвечающим за bgp.

Непонимание возникает по малейшему чиху, к слову говоря, народ без документации только после изрядных матов способен работать.

pegs:
неплохие пиринговые отношения

Это на здоровье, но ведь речь-то о другом. Фактически, нужно запускать свои программы из под чужих пулов - т.е., физическое железо (сервера и маршрутизаторы) должно находится в непосредственной связи.

Ну, не GRE-тоннелями же решать такие задачи?

pegs
На сайте с 07.06.2007
Offline
627
#24

Организовать канал связи между, например, Совинтелом и площадкой компании Яндекс вопрос денег. И не думаю, что это может вызвать проблемы. Какие у них конкретные взаимоотношения это уже вопрос к Яндексу и операторам. Вряд ли это bgp, это скорее "обычное" клиентское подключение компании к провайдеру, хотя не вижу проблем с размещением в ДЦ оператора своих серверов. Как конкретно у них реализовано массовое выделение IP - это уже вопрос их договоренностей и ПО от Яндекса. Кстати в этих связках Яндекс начал использовать не только IP московских операторов связи, очевидна гибкость их ПО.

юни
На сайте с 01.11.2005
Offline
851
#25

pegs, мне как-то трудно представить, что Яндекс для проверки поискового индекса на клоакинг использует "клиентское" какое-нибудь PPPoE-подключение. :) Наиболее вероятной по прежнему видится работа вручную через тот или иной специфический софт.

Впрочем, да, пока мы можем только предполагать.

pegs
На сайте с 07.06.2007
Offline
627
#26
юни:
pegs, мне как-то трудно представить, что Яндекс для проверки поискового индекса на клоакинг использует "клиентское" какое-нибудь PPPoE-подключение. :)

pegs, а почему бы и нет? :) если это нужно для дела. Подключение сразу 100 или 1000 одновременных динамических соединений с каждым провайдером, периодическое их обновление, ротация IP в запросах бота т.п. Главная цель Я. - максимальная имитация действий пользователей, (по понятным причинам) не имеющих отношения к компании Яндекс. А тут bgp не поможет.

юни:
Наиболее вероятной по прежнему видится работа вручную через тот или иной специфический софт.

В данном случае, анализируя такие пачки запросов, очевидно, что работа ведется не вручную. Как указывалось выше в такой пачке используются разные IP-шники (часто от нескольких провайдеров), что очевидно говорит о наличии некой системы подключенной к разным провайдерам с динамическими IP. А уж кто использует эту систему - бот или сотрудник Яндекса – уже частный случай. Но учитывая, что у Я. не хват сотрудников и никаких денег для анализа вручную таких объемов, то склоняюсь к версии, что в большей степени этой системой пользуется "бот" :)

юни:
Впрочем, да, пока мы можем только предполагать.

Это да. Но правду нам всё равно не скажут :)

Dreammaker
На сайте с 20.04.2006
Offline
552
#27

юни, повторю то, что я писал немного выше:

Dreammaker:
Если мне память не изменяет, то после написания письма яндексовским платонам, то были заходы с корбиновских адресов, это помимо сугубо яндексовских подсетей. Может это тоже они.

тогда мне показалось, что это живой человек, но потом повторно анализируя логи я все же пришёл ко мнению, что это был скорее всего бот. Но эти боты немного продвинутей того, хоть и более непонятней.

pegs
На сайте с 07.06.2007
Offline
627
#28
Dreammaker:
тогда мне показалось, что это живой человек, но потом повторно анализируя логи я все же пришёл ко мнению, что это был скорее всего бот. Но эти боты немного продвинутей того, хоть и более непонятней.

Вручную просто не реально проверять с такой периодичностью по практически всем проектам/доменам. Да и большого смысла в этом нет. Ну, а желание максимально сымитировать действия пользователя, не связанного с компанией Я., для анализатора вирусов, клоакинга и пр.радостей жизни вполне понятно :)

Ну, а бот этот действительно продвинутый – прекрасно понимает редиректы, мета/рефреш, js, css, графику.

Dreammaker
На сайте с 20.04.2006
Offline
552
#29
m@ksim:
Я попросил Яндекс, чтобы этот их бот больше не загружал счетчик LiveInternet, больше не загружает.

То есть, по факту мы будем иметь заходы этих ботов, но в статистике ли.ру они не отображаются? (лень в логи лезть чтобы поискать есть они или нет :) )

MK
На сайте с 02.05.2005
Offline
148
#30

Dreammaker, да.

По факту мы (сайты вообще, а не статистика liveinternet) и так имеем величайшее множество заходов ботов.

1 234 5

Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий