Xameleon

Xameleon
Рейтинг
29
Регистрация
19.12.2021
Maevsk :
Как правильно ограничить/заблокировать доступ поведенческим ботам хотя бы представляющихся от "мейл" и "дзен" на сайт (можно полностью всех от них в блок). По времени и отказам все норм сайт не душат- маскируются как люди, но по вебвизору четко видно, что боты. После блокировки клауда даже не знаю как организовать защиту. Кто что подскажет? Лучше бесплатные варианты или разовые не сильно дорогие...


Платные решения по ликвидации поведенческих ботов на сайте в России есть, но Вам нужна халява. На халяву и уксус сладкий. 

Спрячьте голову в песок - это абсолютно бесплатно.
Vladimir #:

явно, где то сервер MTS затесался в цепочке

При чем здесь провайдер? Гуглить не пробовали?
Куча тем на серче, а в инете куча способов решения. 

Что я могу сказать, когда копирайтеры начинают разбираться в работе инета, то они вот такой бред  и копирайтят

PS

- РКН фильтрация по нескольким параметрам. По IP сейчас не банят. Банят сразу фильтром DPI и тд
- Почему затрагивает хостинги, вас, недавно ростелеком положили - учаться фильтровать по работающим сетям

В вашем случае должно помочь изменение ДНС сервера на компе

Пункт 4.3 правил форума : "Не следует устраивать дискуссию на тему несовпадения чьего-то личного мнения с Вашим. Не следует также обижаться по поводу Вашей неправоты. Если Вы желаете всегда оставаться правым, просто не участвуйте в дискуссиях."

Владимир. Удалите, пожалуйста,  ваши субъективные оскорбления в мой адрес.

Для того чтобы казаться самым умным в глазах общества для начала поработайте лет 10 с программированием сетевого оборудования у федерального интернет-провайдера, построением сетей ШПД интернет, узнайте что такое Cisco IOS, Juniper, VLAN и так далее и ещё много всего.  Сидеть всю жизнь на форумах и гуглить информационный мусор это все умеют, а реальных знаний, как показала практика, у таких умнейших гуглеров ноль.

PS

- По IP сейчас уже банят.  Это факт. Только бан не постоянный, а динамический и волнообразный. Вы ещё с этим не столкнулись, но у вас ещё всё впереди😁
- Давайте жить дружно и не унижать других только потому, что вы их воспринимаете как конкурентов / врагов.
- Изменение DNS серверов на компе при таких IP банах не помогает. Бан происходит только к определённым узлам. Весь интернет прекрасно доступен кроме серверов Timeweb например или серверов ещё какого-нибудь хостера.

Cpt.Smollet #:

Недоступен по ssh все время или периодически?
Что служит триггером, выяснили или нет?
Как обстоит ситуация при доступе через других провайдеров?


Вполне возможно.    Тут есть тема с  шурумбурумом вокруг сетей дистрибуции видеоконтента.

Недоступность по SSH и по любым другим портам VPS сервера происходит волнообразно разной длительностью. Через другого провайдера в этот же момент этот же сервер и сайты, которые хостятся на нём доступны.

Через этого же провайдера, но с другого динамического IP в этот же момент эти же vps timeweb серверы и всё что на нём доступны.

Всё что пишет Timeweb подтверждается практически. Бан прилетает по конкретному динамическому IP абонента у интернет-провайдера.

Трасировка одианковая абсолютно как в моменты недоступности серверов Timeweb так и в моменты абсолютной их доступности. 

Какой тригер бана неизвестно. Можно только догадываться и фантазировать на эту тему. Работникам РКН думаю это известно более конкретно, но 

здесь на форуме их не видно чтобы узнать.

В трасировке 777.777.77.7  это IP сервера Timeweb. Эта трасировка сделана в момент полной недоступности VPS серверов Timeweb. 

|------------------------------------------------------------------------------------------|


|                                      WinMTR statistics                                   |


|                       Host              Lost -   %  | Sent | Recv | Best | Avrg | Wrst | Last |


|------------------------------------------------|------|------|------|------|------|------|


|                                10.0.0.1 -    0 |  256 |  256 |    0 |    0 |    9 |    0 |


|                             169.254.0.4 -    0 |  256 |  256 |    0 |    1 |   15 |    0 |


|                            172.31.9.102 -    0 |  256 |  256 |    5 |    6 |   11 |    5 |


|              ae2.204.RT.TMX.KRR.retn.ru -    1 |  252 |  251 |    5 |    7 |   41 |    7 |


|                ae17-8.RT.SL.SPB.retn.ru -    1 |  248 |  246 |   36 |   39 |  112 |   37 |


|             GW-as9123-RT.SL.SPB.retn.ru -    1 |  252 |  251 |   31 |   34 |   88 |   32 |


|                          94.228.119.215 -    1 |  252 |  251 |   31 |   32 |   71 |   32 |


|                      Request timed out. -  100 |   51 |    0 |    0 |    0 |    0 |    0 |


|                      Request timed out. -  100 |   51 |    0 |    0 |    0 |    0 |    0 |


|                      Request timed out. -  100 |   51 |    0 |    0 |    0 |    0 |    0 |


|                            777.777.77.7 -    0 |  255 |  255 |   32 |   33 |   49 |   34 |


|________________________________________________|______|______|______|______|______|______|


 WinMTR v1.00 GPLv2 (original by Appnor MSP - Fully Managed Hosting & Cloud Provider)

Mik Foxi #:

Покажи вывод traceroute, там будет стопнуто где-то в пределах сетей твоего интернет провайдера (ркн виноват) или же дойдет до датацентра (антиддос). Так и узнаешь точно кто виноват.

и не доступно только по ssh или в этот момент и 443 и 80 порты тоже висят?

Я уже понял чьи это игры. Всё уже тысячекратно проверено вдоль и поперёк. Среди технических специалистов нормальных хостеров дураков нет и среди нас тоже уже все всё понимают и видят.

В момент отвала сервера Timeweb уходит в небытие SSH и любой другой порт сервера. Если меняю SSH порт на сервере с стандартного 22 на нестандартный любой другой также недоступно. 443 и 80 порты недоступны. При этом ping на сервер идёт нормально и качественно. На стороне хостера никаких анти DDoS блокировок на стороне файрвола в этот момент на мой IP не было и нет.

Более того, в этот же момент создают новый пустой российский сервер Timeweb VPS с Ubuntu  с совершенно другим IP адресом с другой ОС , на котором вообще не было ничего и нет. И этот новый сервер с моего домашнего IP также недоступен по всем портам, но пинг есть. Если на сервере хостятся сайты, то они все также становятся недоступны через мой IP моего провацдера в моменте. С любого другого устройства через другого интернет-провайдера мой сервер доступен и все сайты, которые хостятся на нём тоже доступны без проблем.

Byazrov #:

Ещё раз хочу подчеркнуть тот факт, что проблема проявляется на Российских VPS серверах Timeweb,  которые используются только для хостинга российский сайтов и не имеют на себе никакого VPN софта.  Обычный  стандартный вебсервер для сайтов! Наоборот на иностранных VPS серверах того же Timeweb никаких проблем не заметил пока что.

Судя по всему на оборудовании и системе ТСПУ РКН, которое интегрировано сейчас по всей России на всех интернет-провайдерах, где-то на стыке на уровне магистральных маршрутизаторов, в алгоритме этого сетевого оборудования присутствует некий рандом, который рандомно выбирает IP людей-мучеников и бьёт по ним.

Большая часть абонентов интернет работает через динамические IP пулы, которые раздаются абонентам автоматически и постоянно меняются.

IP адрес который сегодня у меня, завтра или через неделю уже будет у другого абонента. А вот IP адреса хостеров видимо целенаправленно собирают в один список.

Сделано так умышленно, чтобы никто ничего не мог доказать. Если факт не доказан, то и разбираться не в чем.

Этот рандом плавающий и волнообразный. История похожа на тот период когда в РФ закончился CLoudFlare. По началу всё выглядело странно, а в всем всё стало ясно и с CloudFlare попрощались.

Я сначала тоже думал, что это хостеровский файрвол от DDoS, но всё оказалось куда печальнее. 

В том то и дело что это не Anti DDoS хостера, а это умышленное поверждение интернет-трафика со стороны ТСПУ РКН, которое полностью останавливает связь между определёнными хостами и судя по всему списками хостов, которые заносятся в чёрный список управляют со стороны надзора.  Это подкрепляется железными техническими фактами и проверками на уровне хостера. То что ещё вчера казалось кино комедией с чёрным юмором, сегодня стало реальностью.

Хостер уже не один день и не одну неделю проводил и проводит разбор и мониторинг ситуации. Думаю что это имеет массовый характер по всей России, но это не вина хостера, который наоборот не заинтересован в том, чтобы потерять половину или всех своих клиентов.

Какие мотивы, которые приходят в голову :  1) Борьба с VPN. РКН решили что если заблокировать вообще всех хостеров и все сервера, то и VPN больше не будет. Вот такая логика там 😁

2) Борьба с конкурентами и захват рынка Российского хостинга. После того, как заблокируют всех хостеров, которые не входят в кооператив Озеро, скорее всего появится 

новый Российский хостинг "Max" или "Хостинг и точка". И стоить этот хостинг будет как крыло от лайнера.

Плыли, плыли и приплыли.💀

3) Создание и тестирование защиты от заХнивающего запада и гейропы. Защита будет заключаться в том, что весь рунет будет одномоментно в определённый момент остановлен по нажатию одной деревянной красной кнопки. То бишь по их логике : нет в РФ людей нет и жалоб.

Этакая защита от DDoS, в которой злоумышленниками считаются обычные мирные жители этого царства. 


Объявление Timeweb хостера :

Проблема имеет массовый характер и сам хостер опубликовал следующее объявление для своих клиентов:

С 19 августа у части клиентов возникает кратковременная недоступность при подключении к серверам — примерно на 10 минут. Сами серверы работают нормально: пинг проходит, трафик идет, другие пользователи заходят без проблем.

Что помогает клиентам • Смена IP-адреса у интернет-провайдера • Переключение на другого оператора связи

Что не помогает : Изменение маршрутизации с нашей стороны — проблема не уходит

Наши выводы : Проблема выборочная, не массовая — на графиках сети просадок нет. Похоже на блокировки интернет-провайдеров по всей России: бан получает конкретный пользователь, а не сервер.

Регулятор подтвердил — наши сети не заблочены, ограничений нет. Продолжаем переговоры с локальными операторами.

Что можете сделать вы : Отправить жалобу своему интернет-провайдеру по нашему шаблону

Mik Foxi #:

так смена клиентского ипа то не мешала бы провайдеру и дальше блочить клиента. больше выглядит как антиддос стоящий у хостера, который по своей кривой логике банит ипы.

Судя по всему на оборудовании и системе ТСПУ РКН, которое интегрировано сейчас по всей России на всех интернет-провайдерах, где-то на стыке на уровне магистральных маршрутизаторов, в алгоритме этого сетевого оборудования присутствует какой-то тригшер, который банит IP абонентов. Условия этого тригера неизвестны.

Большая часть абонентов интернет работает через динамические IP пулы, которые раздаются абонентам автоматически и постоянно меняются.

IP адрес который сегодня у меня, завтра или через неделю уже будет у другого абонента. А вот IP адреса хостеров видимо целенаправленно собирают в один список.

Сделано так умышленно, чтобы никто ничего не мог доказать. Если факт не доказан, то и разбираться не в чем.

История похожа на тот период когда в РФ закончился CLoudFlare. По началу всё выглядело странно, а в всем всё стало ясно и с CloudFlare попрощались.

Я сначала тоже думал, что это хостеровский файрвол от DDoS, но всё оказалось куда печальнее. 

В том то и дело что это не Anti DDoS хостера, а это умышленное поверждение интернет-трафика со стороны ТСПУ РКН, которое полностью останавливает связь между определёнными хостами и судя по всему списками хостов, которые заносятся в чёрный список управляют со стороны надзора.  Это подкрепляется железными техническими фактами и проверками на уровне хостера. То что ещё вчера казалось кино комедией с чёрным юмором, сегодня стало реальностью.

Хостер уже не один день и не одну неделю проводил и проводит разбор и мониторинг ситуации. Думаю что это имеет массовый характер по всей России, но это не вина хостера, который наоборот не заинтересован в том, чтобы потерять половину или всех своих клиентов.

Какие мотивы, которые приходят в голову :  1) Борьба с VPN. РКН решили что если заблокировать вообще всех хостеров и все сервера, то и VPN больше не будет. Вот такая логика там 😁

2) Борьба с конкурентами и захват рынка Российского хостинга. После того, как заблокируют всех хостеров, которые не входят в кооператив Озеро, скорее всего появится 

новый Российский хостинг "Max" или "Хостинг и точка". И стоить этот хостинг будет как крыло от лайнера.

Плыли, плыли и приплыли.💀

3) Создание и тестирование защиты от заХнивающего запада и гейропы. Защита будет заключаться в том, что весь рунет будет одномоментно в определённый момент остановлен по нажатию одной деревянной красной кнопки. То бишь по их логике : нет в РФ людей нет и жалоб.

Этакая защита от DDoS, в которой злоумышленниками считаются обычные мирные жители этого царства. 


Объявление Timeweb хостера :

Проблема имеет массовый характер и сам хостер опубликовал следующее объявление для своих клиентов:

С 19 августа у части клиентов возникает кратковременная недоступность при подключении к серверам — примерно на 10 минут. Сами серверы работают нормально: пинг проходит, трафик идет, другие пользователи заходят без проблем.

Что помогает клиентам • Смена IP-адреса у интернет-провайдера • Переключение на другого оператора связи

Что не помогает : Изменение маршрутизации с нашей стороны — проблема не уходит

Наши выводы : Проблема выборочная, не массовая — на графиках сети просадок нет. Похоже на блокировки интернет-провайдеров по всей России: бан получает конкретный пользователь, а не сервер.

Регулятор подтвердил — наши сети не заблочены, ограничений нет. Продолжаем переговоры с локальными операторами.

Что можете сделать вы : Отправить жалобу своему интернет-провайдеру по нашему шаблону

wbc2t #:
Работает CloudFlare сейчас по РФ? Есть проблемы?
Надеялся на защиту l7 от известного поставщика. В итоге сайты лежат. 

CloudFlare в России закончился для тех, кому нужна качественная работа проекта, а не пляски на поломанной табуретке с ТСПУ. 

Политическая ситуация говорит о том, что в ближайшем будущем вероятность его возврата равна нулю. Это уже понимает каждый адекватный человек.

При серьёзных DDoS атаках и защита от DDoS CloudFlare не спасает полностью, а только лишь смягчает удар. И это при том, что для адекватной защиты от DDoS в CLoudFlare нужно делать глубокую настройку руками и мозгами, а не нажать одну галочку на автомате и ждать чудес как делает большинство.

Для защиты сайта от DDoS атак нужен комплексный подход, а не волшебная палочка с волшебным названием. 

Комплексный подход естественно включает в себя не только использование какого-то распиаренного сервиса и однокнопочного подхода, а и многие другие вещи.

Artem189 #:

Нет. Вы написали "подсеть ip адресов AS Янда нужно пропускать.. ".

Покажите как вы Яндексовских ботов поопускаете. У меня  Know bots и по юзер агент стоит содержит  yandex.com. Может этого не достаточно? Периодически бывает в вебмамтере - не удалось скачать содержимое страницы. Может глюк вебмастера? А может еще как то надо ботов Яндекса добавить.

логика правила : Useragent contains "Yandex"  OR   ASNnum is in "13238, 208398". Будет пропускать реальных ботов Яндекс, а также запросы с поддельными юзер агентами ботов Яндекс, которые идут не с Яндекс сетей. Например запросы с SEO сервисов, имитирующих юзер агент бота Яндекс.

код правила CloudFlare (http.user_agent contains "yandex") or (ip.src.asnum in {13238 208398})

Если нужно пропускать запросы только настоящих ботов Яндекс, а с поддельным useragent не пропускать, то логика правила следующая :

логика правила : Useragent contains "Yandex"  AND  ASNnum is in "13238, 208398".

Код правила CloudFlare :    (http.user_agent contains "Yandex" and ip.src.asnum in {13238 208398})

Список всех ASN , относящимся к компании Яндекс здесь : https://bgp.tools/search?q=yandex

Поисковый робот Яндекс использует не все из этого перечня ASN, а только основные, обычно это 13238 / 208398.

Юзер агент содержащий "Yandex" охватит не только индексирующего яндекс бота YandexBot, но и других таких как YandexDirect, YandexVideo, YandexImages, YandexWebmaster и т.п.

Amigo_9876 :

У меня год назад начало падать зрение,  я до этого не очень хорошо видел, но почувствовал что-то не так с картинкой, как будто мозг перестраивается. Короче и в клинику сходил, и в оптики разные, выписали мне очки, в которых я благополучно проходил 4 дня, и забросил их в ящик. Потом картинка выровнялась, и я вообще забил.

И вот снова я хожу как будто после 200-грамм коньяка, но не так весело. Пошел в клинику, показал старые исследования, пожаловался.

И что мне сказали: "С глазами у вас все в порядке, кроме астигматизма. Я не вижу чтобы у вас падало зрение" (хотя если сравнить результаты то, там что- вроде:

Было/Стало в среднем:

  • R -0.50 - 1.00 / R: -1.00 -1.25
  • L -1.25 - 1.75 / L: - 1.50 -1.75)

Зрение у вас может падать, носите вы очки, или нет, это без разницы. Можно сделать лазерную коррекцию, но она будет работать где то лет до 50.

В общем, пожали плечами, ну падает зрение и падает, чо переживать то :)

Спросил за гимнастику, ответили что это работает только для детей и подростков, а также если нужно расслабить глаза, но не для восстановления, или замедления.

Амиго, советую такие очки тренажёры и подбирать самостоятельно индивидуально упражнения для глаз, которые тебе подойдут. Реально помогает, но нужно заниматься.

Это не волшебная палочка, а очень эффективный инструмент, если заниматься регулярно и долгосрочно, то результаты будут серьёзные. Это безопасно.

По поводу того что гимнастика работает только для детей или вообще не работает это ложь.  Гимнастика гимнастике рознь и никто просто никогда не хочет ничего делать.

Проблема не только в пережимании сосудов, а и в том что глаза постоянно смотрят в одну и ту же точку на одном и том же расстоянии. 

Амиго не слушай рвачей. Их цель только одна - выкачивание денег и самообогащение. Они не занимаются медициной, а только сам знаешь чем.

Никто кроме тебя самого тебе не поможет и никому не нужно твоё здоровье кроме тебя самого. 

Искать ничего не нужно и на хирургию не иди, потому что такое вмешательство необратимо и может обернуться такими последствиями, что будешь локти кусать.

Упражнения для глаз, упражнения нетрадиционными методами, такими как очки тренажеры и другие. Йога очень сильная, только не та, которой учат девочки в бекини, а которую ты изучаешь сам по серьёзным книгам и делаешь практически ежедневно определённые упражнения годами непрерывно.

Это тяжёлый труд, но только работа над собой может поднять на ноги.

Махмуд Аббас #:
Более того, одних и тех же ботов, гуляющих по разным сайтам, он может принимать за ботов и за людей. У меня есть два сайта одной тематики (финуслуги), крутятся они одинаковыми методами, прям совсем одинаковыми. Так вот, на одном сайте роботность за 95%, а на другом - менее 30%.

Абсолютно верно.

12
Всего: 18