master32

Рейтинг
111
Регистрация
09.02.2022
alexverem :
БД огромная..

а какой размер базы?
может пора кластеризацию подключать?
а так стоит смотреть в сторону Redis, например

Mnlaw #:

Можно еще проставить Энд если не входит в АСН, то блок. Вот у меня интересная картина есть, болтается бот Гугла, не пропускает его из за пустого рефера. АСН Гугла, в юзер агенте тоже вроде бы норм, никаких запретов на его Айпи или диапазон не стоит. В разрешениях стоит Известные Боты и боты Серч Энджин. Короче вроде все ок. А он все равно по рефереру не проходит.

Еще такой же Google Other, та же картина. Блока нет, но не проходит. Не знаю, может у Клауда не обновлена инфа.

условие known bots уже подразумевает набор условий, таких как user-agent и ASN, и прочих Reverse DNS...
то есть не имеет значения пытаться зайти под видом "known bots", не выполнив все условия
но там про другое, использовать не весь "known bots", а указанную категорию, например поисковики, но при не пускать ботов от AI
но эта функция доступна через интерфейс, нет проблем указать эти условия

                options: [{
                    value: "Search Engine Crawler",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.search_engine_crawler")
                }, {
                    value: "Search Engine Optimization",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.search_engine_optimization")
                }, {
                    value: "Monitoring & Analytics",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.monitoring")
                }, {
                    value: "Advertising & Marketing",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.advertising")
                }, {
                    value: "Page Preview",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.page_preview")
                }, {
                    value: "Academic Research",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.academic_research")
                }, {
                    value: "Security",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.security")
                }, {
                    value: "Accessibility",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.accessibility")
                }, {
                    value: "Webhooks",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.webhooks")
                }, {
                    value: "Feed Fetcher",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.feed_fetcher")
                }, {
                    value: "AI Crawler",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_crawler")
                }, {
                    value: "Aggregator",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.aggregator")
                }, {
                    value: "AI Assistant",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_assistant")
                }, {
                    value: "AI Search",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.ai_search")
                }, {
                    value: "Archiver",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.archiver")
                }, {
                    value: "Other",
                    label: (0,
                    a.ZP)("filter_editor.fields.cf.verified_bot_category.other")
                }],
Kupidonov #:

Как часто идет обновление статистики? Раз в день, неделю, месяц?

Тоже видел в новостях что включена. Но начислений никаких нет, поэтому не понимаю включена она или нет. Появление вкладки "монетизация" может говорить о том, что монетизация успешно подключена к каналу?

Заявку на монетизацию никуда подавать не надо?

а хз. раз в неделю может, или как начисляют доход...
вот с 2к самоподписчиков

lkm #:
Она же отключена для россиян. Что-то изменилось?

уже включена, но платят какие-то копейки... или это за поставленные звезды... судя по моим цифрам оно того не стоит, выгоднее продать рекламный пост)

slavegirl #:
Если, допустим, нам нужно добавить в «белый список» Яндекс, Google и Bing , важно учесть, что существуют боты, которые подделывают User-Agent, маскируясь под популярных пауков

а разве можно пройти условие known bots только подделав user agent?

montr1 #:
С Украины трафа давно нет

а как он будет, если на украине заблокировали яндекс и все русские домены?)
зато с гугла конверт зашкаливает, почему-то вся украина резко стала азартная и сливает бабосики на казиношки, что не может не радовать!

Mik Foxi #:

больше слушай серчевских "экспертов" 😀

тут такие не пишут)
но для пруфа вот пример:

curl -k -H "Host: antibot.cloud" -I  https://165.227.167.219/

надеюсь курлом пользоваться все умеют

солнечная вспышка жи
Poljot #:

Присоединяюсь. 

Какой смысл закидывать друг друга предположениями ?

Понятно что гарантий не каких, не кто не знает точно как работают алгоритмы, но мы можем делать то - что можем: обмениваться ссылками на информацию и личным опытом.

есть способы получить IP сервера за CF, какую надо информацию, доки с мануалами? я думаю это особо не документировано)

Lastwarrior #:

Не для того CF сделан, чтобы что-то от Гугла скрывать. Нужны уникальные IP, покупайте свои SSL сертификаты и будет вам счастье.

вполне может CF сам сливает гуглу все данные в автоматическом режиме)

Всего: 1649