пытаются использовать уязвимости сайта скорее всего. если в именах абракатабра. если осмысленные типа backup.zip то ищут стандартные файлы которые можно встретить.
В последнее время все блокировки происходят автоматически. Как я понимаю, специально обученные боты парсят выдачу по нужному запросу - собирают список доменов. Далее по списку домены парсятся на предмет запрещенки. То есть на сайты никто не переходит и вручную не просматривает содержимое. Таким образом, если домен глухо закрыт и отдает 403 код, то спарсить его нельзя. И заблокировать соответственно тоже.
Пишет про Пайтон, а сайт делает на вордпрессе.
я сейчас на go пишк больше чем на php, мне срочно удалять все свои сайты и переписывать их на go?
Как определить по ip что это бот на 99% ?
никак, даже на 10% не определить. ip это ip.
А через месяц и твою инфо сожрет ИИ, если спрос будет.
так забань ИИ ботов, в клаудфларе так их в отдельную группу вынесли для удобства.
так топ 5 яндекса это вообще англоязычные. А мои статьи особенно по питону все же начали вылезать в топ 10, но до них не доходят похоже.
только будут ли искать питон в яндексе? это ж ЦА айтишники, че вдруг их в яндекс занесет чтото искать?
Есть какие-то признаки по которым этих ботов можно заклоачить?
яндекса/гугла пропускать, остальных проверять активной проверкой на "человечность", самое простое и самое эффективное.
А с каких айпишников они ходят?
Со всяких, есть как серверные мусорные типа битерики, так и ростелеком, мегафон и прочие домашние.
В последнее время все блокировки происходят автоматически. Как я понимаю, специально обученные боты парсят выдачу по нужному запросу - собирают список доменов. Далее по списку домены парсятся на предмет запрещенки. То есть на сайты никто не переходит и вручную не просматривает содержимое. Таким образом, если домен глухо закрыт и отдает 403 код, то спарсить его нельзя. И заблокировать соответственно тоже.
да клоакинг снижает количество абуз и блокировок.