- Поисковые системы
- Практика оптимизации
- Трафик для сайтов
- Монетизация сайтов
- Сайтостроение
- Социальный Маркетинг
- Общение профессионалов
- Биржа и продажа
- Финансовые объявления
- Работа на постоянной основе
- Сайты - покупка, продажа
- Соцсети: страницы, группы, приложения
- Сайты без доменов
- Трафик, тизерная и баннерная реклама
- Продажа, оценка, регистрация доменов
- Ссылки - обмен, покупка, продажа
- Программы и скрипты
- Размещение статей
- Инфопродукты
- Прочие цифровые товары
- Работа и услуги для вебмастера
- Оптимизация, продвижение и аудит
- Ведение рекламных кампаний
- Услуги в области SMM
- Программирование
- Администрирование серверов и сайтов
- Прокси, ВПН, анонимайзеры, IP
- Платное обучение, вебинары
- Регистрация в каталогах
- Копирайтинг, переводы
- Дизайн
- Usability: консультации и аудит
- Изготовление сайтов
- Наполнение сайтов
- Прочие услуги
- Не про работу
Тренды маркетинга в 2024 году: мобильные продажи, углубленная аналитика и ИИ
Экспертная оценка Адмитад
Оксана Мамчуева
WAF правила. Verified Bot Category > Search engine crawler. Вот документация
Не понял.
В WAF правилах не нашел Verified Bot Category
Не понял.
В WAF правилах не нашел Verified Bot Category
Создаете новое (Create rule) / редактируете старое правило и выбираете что нужно Вам.
Создаете новое (Create rule) / редактируете старое правило и выбираете что нужно
Я считал что можно изменить список ботов в Search Engine Crawler.
Оставить только нужных. То есть убрать из него всякие Applebot, Sogo, и тд
Это видел.
Я считал что можно изменить список ботов в Search Engine Crawler.
Оставить только нужных. То есть убрать из него всякие Applebot, Sogo, и тд
У клауда в документации об этом ничего не сказано. Поэтому я Вам изначально и сказал, что делайте свои белый список по AS Сетям.
Вот часть примера (свою базу составляйте самостоятельно, у яндекса есть еще сети).
(ip.geoip.asnum in {15169 8075 13238 13335 714})
гугл, майкрософт (бинг), яндекс, клауд, apple
https://2ip.ru/as/15169 - подставляете значение смотрите что за сеть.
у 8075 лучше дополнительную проверку делать по user agent bingbot - так как с этой сети может идти атака (ddos).
делайте свои белый список по AS Сетям
Это я уже понял, что придется самому.
Странно что я не могу изменить для сайта "список известных ботов" , которых CF уже определяет по каким-то признакам. Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя. Типа поставить галочки в этом списке.
Это я уже понял, что придется самому.
Странно что я не могу изменить для сайта "список известных ботов" , которых CF уже определяет по каким-то признакам. Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя. Типа поставить галочки в этом списке.
Правила используйте и все можно. Не всегда же "галочки" будут. Посмотрите список известных ботов в категории "Search Engine Crawler" и если их нужно именно заблокировать, то делайте это правилом выше.
Это я уже понял, что придется самому.
Странно что я не могу изменить для сайта "список известных ботов" , которых CF уже определяет по каким-то признакам. Получается что список "Search Engine Crawler" в CF уже есть, только я не могу скорректировать его под себя. Типа поставить галочки в этом списке.
Делается все гораздо проще. Включаешь skip для known bots, потом в логах отлавливаешь всю дичь, которая не нужна.
И эту дичь в блок. Первым правилом. Там будут и по asn и по user agent.
Многие сети поведенческих ботов крутятся только на IPv6
Есть примеры?
Адреса этой версии больше распространены у хостеров, провайдеры их поддерживают в виде исключения, в сеть по в6 выходят в Штатах, иногда в Европе. В бСССР это редкость.
Иными словами, именно для накрутки поведенческих данный протокол скорее вреден. Можно парсить ПС или маркетплейсы, регистрировать аккаунты в соцсетях или заниматься другими техническими работами.