Вы думаете количество недоступных сервисов кого-то сильно волнует? Я, к примеру, в какой-то момент не мог достучаться до ripe.net (организация управляющая всеми IP адресами в Европе и СНГ). Каждый решает свои задачи. У РКН стоит задача блокировать доступ к запрещённым ресурсам, вот они и блокируют, выполняют свои обязанности.
Я нигде не высказывал мнение, что количество недоступных сервисов кого-то волнует. Но хочу заметить, что после того, как произошла эта блокировка, она была довольно оперативно устранена.
Насчет блокировки доступа к запрещенным ресурсам, то РКН не блокирует ip для всех доменов, а блокирует только сами домены. В противном случае у нас давно бы не работали все эти иностранные хостинги и клоудфлеры. Поэтому, предполагаю, что все же зарубежная инфраструктура и опора нее РФ сегмента довольно сильно волнует РКН. Иначе она давно была бы вся заблокирована.
У меня тоже была идея, что проблема в том, что CF обновил ip адреса на заблокированные. Но это неправда. РКН заблокировал ip адреса, и проблема была в этом.
Дело в том, что CF может менять входные IP адреса. А некоторые из них заблокированы в РФ. И хотя домен может быть не заблокирован в РФ, блокировка по IP адресу CF остаётся. Вот и колбасит. Причем эту блокировку спрогнозировать нельзя, мы же не знаем когда и зачем CF сменит IP адрес.
Это неверно для вчерашнего инцидента. Дело в том, что по истории CloudFlare в течение этого месяца уже 3-4 раза менял ip адреса на те же самые, которые вчера были заблокированы. И с этим не было проблем, поскольку раньше эти ip не были заблокированы и сайты на них работали без проблем. Да и вообще, на них размещены 4-5 млн доменов, и блокировку этих адресов сразу же заметили бы все, как это и произошло.
Лежим дальше.
<!--WEB-->, а вы я смотрю в каждой бочке затычка. То, что простейший проверяющий скрипт со стороннего сервера находит десяток площадок, которые обманывают проверяющего робота сапы, а я должен за них платить, это по вашему норма, или админы малограмотные? Или может у админов так много проектов, что им есть чем заняться и руки не доходят? Решать явно не вам, и иронии здесь не уместны.
HaXuM, благодарю за ответ. Про мигание похоже на правду, процент слишком большой. Врятли пользователь сможет сам определить, мигание там или клоакинги, скорее задача биржи. Также рекомендую усилить защиту против обманной техники когда ссылки выводятся только роботу сапы, а всем остальным нет. Техника явна удобна для взломщиков сайтов, чтобы еще и настоящие владельцы сайта не видели ссылок.
Не поленился написал бота, который проверяет наличие ссылок, 1% ссылок оказался просто с обманом робота Сапы, фактически ссылок нет. Очевидно, либо дополнительных проверок тут нет вообще, или система работает плохо, эта ваша погрешность. Не верю, что годами могут висеть ссылки которые видны только роботу Сапы, а всем остальным нет и есть какая-то доп защита.
HaXuM, объясните пожалуйста такую вещь, почему когда я проверяю Винком инструмент YL наличие ссылок в кеше Яндекса (есть в настройках), ситуация, когда кеш свежий но ссылка в нем отсутствует наблюдается для дикого количества сайтов? При проверке 500 сайтов 50 бракуется, это 10%! Десять процентов продают воздух? Что должны делать оптимизаторы, сначала платить деньги за размещение, через полгода отлавливать таких и пополнять свой ГБЛ? И Сапа в стороне? А ваш Визард также покупает на таких площадках ссылки и "продвигает" соответственно? Или я чего-то не понимаю, или творится полный беспредел.
HaXuM, погрешность, это если бы вы боролись с данной ситуацией. Вы пытаетесь проверять кэш поисковых систем на наличие ссылок? нет. Вы пытаетесь ловить клоакинг нацеленный против вашего проверяющего бота? нет. Так какая это погрешность? У меня подозрение, что 5-10% площадок продают попросту воздух - несуществующие ссылки, которые фигурируют тока в интерфейсе Сапы, и в воображении покупателей этих ссылок. Только платить приходится реальными деньгами.
HaXuM, а Вам не кажется, что система сама должна отлавливать мошенников? Я трачу свое время на поиски, также часть денег они все равно получают - пока не поймают, а кого-то и годами ловят. Т.е. каждый оптимизатор должен выполнять работу SAPE - контролировать работу, размещение ссылок без обмана. Мне что, теперь самому скрипты писать, создавать свою систему проверки? Выходит что так, ведь вам это не нужно, деньги то терять. А оптимизаторы сожрут как-нибудь.
Являясь оптимизатором в системе Sape, меня мучает следующий вопрос - почему система не борется с клоакингом ссылок от поисковых систем вебмастерами? Плагином проверяю проидексированность ссылок через пол года или год, и оказывается, что 10% ссылок просто не в индексе Яндекса, при этом сама страница есть в кеше и свежая!
Я вижу 2 метода обмана, которые используют вебмастера:
1. Ссылка фактически отсутствует на странице. Видимо, она отдается ТОЛЬКО роботу сапы. Полный наглеж.
2. Ссылка скрывается от поисковых систем. Яндекс бот получает страницу без ссылок SAPE. Таких хитрожопых очень много в системе.
Почему эти проблемы не решаются, администрация не в курсе их существования, либо им плевать и это выгодно - мошенники получают доход, а SAPE получает свою комиссию еще, закрывая глаза. Скажете пишите в обратную связь, но я не могу по каждому случаю писать, во первых проблема массовая, во вторых, она не сразу отлавливается - может пройти пол года а то и год, пока Яндекс переиндексирует, а руки дойдут до проверок, и все это время мошенники получают деньги. А теперь представьте, что купленных ссылок тысячи и иди уследи.
Я вижу методы решения проблемы: по пункту 1, дополнительно проверять наличие ссылок скрытым роботом, не представляясь в User-agent. Если обычный и скрытый робот показывают разные результаты пускать сайт на проверку и в бан. По пункту 2 проверять на месте ли ссылка, скрытым роботом с других ip, представляясь в User agent роботом Яндекса и Гугла. Такой робот может проводить выборочные проверки ссылок, например, раз в месяц. Аналогично, в случае отсутствия ссылки пускать сайт на дополнительную проверку поддержкой и в бан. В общем, в техническом плане это решаемо.
Мощная и отточенная биржа SAPE не должна иметь таких косяков в системе, способствовать мошенничеству со стороны вебмастеров и вдобавок зарабатывать на этом. Призываю к ответу. Поправьте, если где заблуждаюсь.
