- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Как удалить плохие SEO-ссылки и очистить ссылочную массу сайта
Применяем отклонение ссылок
Сервис Rookee
Авторизуйтесь или зарегистрируйтесь, чтобы оставить комментарий
Так в том-то и дело, что защищен. И ip как они могут узнать, если ip показывается от CF.
Отключаете бесплатный SSL, который выдается со стороны хостинга. Ставите режим Full + самоподписной SSL - боты идут через клауд.
Ну или же full strict и сертификат от клауда прописываете на сайте.
После этих действий увидите в логах клауда своих ботов.
RewriteRule ^(.*)$ - [F,L]
Загуглил ее asn. Добавил в правила CF. И бумц, эти боты стали видны в логах после прописания блокировки (в заблокированных). А без блокировки их не было видно. Странная схема, конечно, в CF....
Короче сделал по другому. В вебвизоре нашел, что ip сеть - SVS Communication network ( Другая реклама: определено по меткам ).
Загуглил ее asn. Добавил в правила CF. И бумц, эти боты стали видны в логах после прописания блокировки (в заблокированных). А без блокировки их не было видно. Странная схема, конечно, в CF....
И вижу есть еще какая-то сетка ботов , тоже идут по меткам UTM. Но вебвизор их не определяет (ip сеть). Нашел на какую страницу они идут и добавил ее в блоки CF. Кого-то вроде стал вылавливать ( AS213220 DATA-CHEAP-AS Есть упоминание на серче, кто-то ее уже блочил. ) , до вечера соберу инфу и тоже заблочу. Короче, альтернативный вариант онаружения asn ботов 😀
Странная схема, конечно, в CF....
Значит у Вас не было WAF правила, в которое бы попадала эта сеть (условие) и логировалось действие, это логично.
Если бы у Вас последним правило было логирование прямых заходов или UTM меток - то подобный шлак попал бы в логи сразу.
Вы можете просто условно сделать правило в самый конец, если не сеть гугла - то все остальное логируем, тем самым у Вас будет логирование всего (что не вошло в верхние правила), а там фильтровкой можно посмотреть логи и внести правки в правила блокировки выше.
И вижу есть еще какая-то сетка ботов , тоже идут по меткам UTM. Но вебвизор их не определяет (ip сеть). Нашел на какую страницу они идут и добавил ее в блоки CF. Кого-то вроде стал вылавливать ( AS213220 DATA-CHEAP-AS Есть упоминание на серче, кто-то ее уже блочил. ) , до вечера соберу инфу и тоже заблочу. Короче, альтернативный вариант онаружения asn ботов 😀
Если на сайт заходят хостинг-провайдеры (дата центры), то смело можно банить . DATA-CHEAP-AS в их числе . Также этих проверьте на наличие . А также любое упоминание слов LLC , LTD
Если бы у Вас последним правило было логирование прямых заходов или UTM меток - то подобный шлак попал бы в логи сразу.
А что значит логирование? Точнее, как это реализуется?
Последним правилом стоит (not http.request.version in {"HTTP/2" "HTTP/3" "SPDY/3.1"}) or (http.referer eq "") - managed challenge
UPD - спасибо, нашел инструкции в других ветках