softerra

softerra
Рейтинг
125
Регистрация
02.10.2023
Openso #:

Мне хватило битерику забанить, пока там больше не с чем бороться. Но я не хочу чтобы мой сайт парсили под доры и обсасывали всякие кейсо и мегаиндексы.

В роботс можно добавить. Многих отшивает.

txt rob-bots.txt

Отключил аналитику и сразу спидомерка подпрыгнула. SC вполне хватает.

Всем спасибо.

Openso #:

Но подумал тут ещё, что когда дорами баловался, то использовал а-парсер и теперь захотелось ещё всякую дичь типа парсеров забанить, по поиск по гуглу ничего не выдал. Вот и решил здесь спросить актуальный список может у кого есть?

Все ответы в логах. Там много интересного.

К вам может долбиться сетка, которая ко мне не придет и наоборот.

Ну да, Битерика & Racktech - этих сразу в блок всех без разбора

А потом по ситуации мониторить

Openso #:

Да уже 30 страниц пролистал, немного утомился. Боюсь ещё 40 страниц срача о том кто лучший сеошник не осилю

Здесь просто мирно конфликтуют 2 вектора

1 - блочить ботные сетки напрямую

2 - подключать всякую стороннюю мутату

Выбирайте, с кем вам по пути и фпирёт, к успехам

Openso #:
Повторюсь -  подскажите, пожалуйста, актуальный список для блокировки всяких парсеров и краулеров для robots или  htaccess?
Здесь много раз выкладывали всякие сети, посмотрите ветку с начала.
юни #:
Я не думаю, что вообще технически реально определить, под статическим или динамическим адресом работает пользователь. Если только напрямую у провайдера.

Статика, не статика - это не важно.

vpsville.ru - отсюда пришли 3 прямых захода подряд с разными юзер агентами. Таких блокирую полностью по возможности.

Deny from 2a09:3800::/29

Рамиль #:
Разработчик Антибота посоветовал блокировать таким доступ к сайту и добавить в правила.
Тогда уж и Яндекс нужно блокировать ))
Сергей #:

Юморист. У ботоводов целые мобильные фермы работают. МТС, Мегафон тоже заблочил?

Большие ботные косяки уже заблочены. Вот свеженькая мелкая рыбка попалась - заблочил.

5.252.31.145

Deny from 5.252.31.0/24 ( 5.252.31.0 - 5.252.31.255 )


юни #:
А как Вы отличаете статику от динамики?

Оказалось, я ошибался, использовал сервис, который искажал информацию.

GuruSite24 #:

Удачи в экспериментах. Там куча реальных посетителей.
Потом расскажите что из этого вышло.

Чуть что, сервис что на скрине все айпишники показывает как статические. Даже мой динамический айпишник, что дал мобильный оператор.

Действительно всех показывает статичными. Я вчера погорячился. В принципе у меня с мобильных операторов прямых заходов единицы, без ботов даже скучно стало.

Всего: 2705