Аномальный рост Direct трафика

Я бы на вашем месте для начала посмотрел логи сервера. Клауд то здесь при чем к вашему трафику.

Ну я смотрел логи.

Много ipv6 без реферера.

Что дальше?

Клауд ровно при том, что включая его траф повышается 2 -3 раза и среднее время на сайте падает в 2 раза и роботность в метрике растет конски.

Вот ровно на сутки отключил и потом включил клауд и все, графики скачут четко по суткам.

приветствую . Я  с тем же столкнулся . Включаю клауд - растет кол-во ботов в метрике . Я склонен предположить , что  метрика ботов не совсем корректно определяет . 

к примеру , когда включаешь клауд , то в метрике видно появление "тупых" запросов от клауда . Не понятно, зачем он их шлет , но скорее всего эти запросы воспринимаются как боты 

есть готовый список правил для блокировки ботов по ASN хостера для Cloudflare. Попробуйте. 

• 200350 Yandex Cloud (в правилах заблокирован как вредоносный)  
• 13238 Yandex (в правилах заблокирован как вредоносный)  
• 208722 Yandex  (в правилах заблокирован как вредоносный) 
• 8075 MICROSOFT-CORP-MSN-AS-BLOCK - Microsoft Corporation, US  (в правилах не заблокирован)
• 15169 GOOGLE - Google Inc., US (в правилах не заблокирован)
• 62041 - Telegram Messenger Inc  (в правилах не заблокирован)

Правило 1:

(ip.geoip.asnum in {25642 197914 41079 1442 43620 197439 198313 42705 44398 13909 34745 24958 17971 47143 59854 57682 3722 13647 20450 30235 47205 23881 198047 14986 17920 32275 50608 199213 262170 201862 43541 24381 10200 14708 27229 48093 42465 7598 30475 55229 7349 33251 52465 52270 45152 8477 198153 52925 61412 262978 53225 41427 53101 41369 35467 59554 52674 24611 48812 40715 201449 52321 29331 201709 53221 198432 51241 19969 56799 26277 58113 28333 42120 6718 20692 17439 132717 9925 132779 42622 6188 40819 24997 38107 36408 57363 46177 62026 61107 44725 4134 4837 14061 26347 14059 28006 17974 17451 23969 131090 9829 34588 50582 7713 7552 199250 8708 16509 205800 149707 12684 328652 37363 16276 9123 272148 45903 23470 202276 33838 5378 202561 3223 3561 3842 4250 4323 4694 5577 6724 6870 6939 7203 7489 7506 7850 7979 8100 8455 8560 8972 9009 247 9370 10297 10439 10929 11588 11831 11878 12586 12876 12989 13213 13739 13926 14127 14618 15003 15083 15395 15497 15510 15626 15734 16125 16262 16284 16397 16628 17216 18450 18779 18978 19084 19318 19437 19531 19624 19844 19871 20021 20264 20454 20473 20598 20738 20773 20836 20860 21100 21159 21321 21859 22363 22552 22781 23033 23342 23352 24482 24768 24875 24940 24961 24971 25163 25369 25379 25780 25820 27257 28753 29066 29073 29182 29302 29354 29465 29550 29691 29802 29838 29854 30083 30176 30633 30693 30900 30998 31103 32097 32181 32244 32475 32489 32613 32780 33070 33083 33182 33302 33330 33387 33438 33480 33724 33785 33891 34305 34971 34989 35017 35366 35415 35470 35662 35908 35916 36024 36114 36290 36351 36352 36666 36873 36887 36920 36970 37018 37088 37153 37170 37209 37230 37248 37269 37280 37308 37347 37377 37472 37506 37521 37540 37643 37661 37692 37714 38001 39020 39326 39351 39392 39572 40156 40244 40676 40824 40861 41653 41665 42160 42331 42473 9020 42695 42708 42730 42831 43146 49505 43289 43317 43350 44050 44066 45102 45187 45470 45671 45815 46261 46430 46475 46562 46664 46805 46816 46844 47328 47447 47588 49349 49453 49532 49544 49981 50297 50613 50673 51159 51167 1299 34933 51191 51395 51430 51731 51765 51852 52048 52173 52219 53013 53340 53559 53597 53667 53755 53850 53889 54104 54203 54455 54489 54500 54540 55225 55286 55536 55933 55967 56322 56630 56934 57043 57169 57230 57858 58073 58305 59253 59349 59432 59504 59729 59764 60011 60068 60118 60404 60485 60505 60558 60567 60781 61102 61157 61317 61440 62217 62240 62282 62370 62471 62540 62567 63008 63018 63119 63128 63199 63473 63949 64245 64484 132816 133296 133480 133752 134451 136258 197155 197328 198310 199653 199883 200019 200039 201011 201525 202053 202836 203523 203629 204196 327705 327784 327813 327942 328035 394256 394330 394380 395089 395111 2009 395978 20248 44901 200904 53057 200532 50968 135822 55293 57286 201200 24549 39458 200000 14576 54290 206898 60117 20448 201553 54825 31472 8556 29119 60476 25532 49949 51698 42442 11274 57345 54817 53342 33569 201983 132425 197395 42699 31698 42612 29311 54527 63213 27175 13209 29140 27223 31659} and not http.request.uri.path contains "/videos.xml" and not http.request.uri.path contains "/8-global.xml" and not http.request.uri.path contains "/9-global-videos.xml" and not http.request.uri.path contains "/images.xml" and not http.request.uri.path contains "/yandex.zen" and not http.user_agent contains "VKRobot")
 


Правило 2:

(ip.geoip.asnum in {49834 49693 30152 19133 198414 45201 31981 62605 61280 53332 61147 51109 19234 40438 58797 26978 29748 35974 262990 43021 39704 62899 53281 59615 55761 52335 16973 196827 32647 14992 198968 196745 62071 132869 56106 32911 24931 57669 48896 45481 132509 39839 63129 53370 25048 28747 46433 55051 18570 13955 16535 22903 9823 46945 263032 36536 50986 199733 48825 35914 33552 52236 28855 198347 40728 18120 53914 55720 27640 62563 202118 9290 45887 51050 20068 49485 40374 14415 46873 14384 54555 263237 53918 4851 32306 133229 28216 36236 42210 51248 49815 34649 365 41562 33260 24220 52347 45486 53055 51290 132225 133120 42776 55799 48446 263093 56732 42399 47385 40539 42244 47549 200147 393326 198171 57773 47583 43472 32338 9166 62082 198651 24725 29067 197902 42418 29097 196645 56110 23535 29869 62756 26484 25926 15189 20401 24679 25128 39756 32400 9412 9667 51294 23052 28099 45693 17881 17669 17918 50926 201634 22611 54641 132071 10207 45577 132070 262603 29883 24558 38279 199997 50465 14120 11235 50655 17019 31240 199481 16862 47161 56784 59791 59677 202023 199990 50872 54839 58936 11230 62310 38894 47172 262287 46260 14442 133143 197648 39451 58922 27589 42400 133393 201597 28997 60800 33322 199129 197372 57752 201670 14244 22152 34541 196678 43198 47625 62049 35295 42311 53589 59705 36791 14160 34432 41062 59135 201630 25260 23108 40281 31590 10532 22720 27357 7595 26481 29713 62651 62838 30849 14987 47577 54334 63916 50915 21217 59816 23273 59632 29452 59795 60739 15919 49313 57879 56617 62088 45179 27597 201702 32740 58667 12617 199847 14567 35278 42572 329166 63989 398779 16371 139341 56190 202090 206446 60458 15022 211642 32408 37611 48707 10843 12764 3188 37963 197540 266660 58826 199558 200443 60362 34442 39729 6130 209628 6185 20718 200088 31034 211401 44476 2635 12616 12824 61493 8473 133288 29024 60494 6697 198610 56740 42655 12488 64050 43260 60376 12859 35048 4808 45899 398043 135967 39122 30148 50304 201133 39962 9318 12322 51898 197765 13768 33055 34119 33139 17378 24151 63612 200062 36031 7393 35680 59895 8739 34619 8426 137951 48635 200083 44565 49121 8342 209242 50837 20857 40065 4811 174 50448 34762 63410 26619 58299 5404 40021 208626 31708 9597 62715 13135 35041 18229 7586 36874 47302 25151 51540 20495 41412 3175 17941 45753 35319 9335 262254 57724 56694 262448 397273 34087 63695 132203 20655 59627 213230 45012 35382 49322 327979 25575 48851 60713 12996 29522 57910 8685 19324 38719 6738 17534 49063 134548 30781 9584 61236 16686 29132 47692 262256 15133 45382 8449 133775 46606 29873 32653 1680 61424 20853 30834 13237 210079 53107 8551 38532 32748 55359 61098 17054 20446 19551 55002 399522 202759 54113 62325 57142 197922 43513 200651 44051 60922 12406 13446 8896 61207 140832 29169 43108 3064 206397 39591 42352 394695 26496 398101 203087 25394 19527 396982 16550 139070 139190 61395 32524 3786 49282 48287 133199 9304 206264 56798 139021 21305 328364 141004 44709 13649 59684 207333 43362 207758 34011 15891 21499 21501 29486 34289 39783 44273 60253 62087 399883 43811 200713 7551 133398 137950 197068} and not http.request.uri.path contains "/videos.xml" and not http.request.uri.path contains "/8-global.xml" and not http.request.uri.path contains "/9-global-videos.xml" and not http.request.uri.path contains "/images.xml" and not http.request.uri.path contains "/yandex.zen" and not http.user_agent contains "VKRobot")

 

Правило 3:
 
(ip.geoip.asnum in {58040 48823 8511 141995 58003 3242 400384 139606 59939 207992 140155 55803 30447 397666 147303 210329 206834 207143 135908 59711 42926 46636 136907 55990 9286 43773 60591 34984 2497 21409 12552 37159 28907 9952 34282 135905 49467 41535 265262 29222 44136 48348 15456 21350 43927 14230 44133 16814 19905 263812 47544 197726 33808 50562 42775 48614 28824 38700 8758 206991 7684 9729 11989 8648 55592 44239 9293 59019 5602 18650 21069 48737 4766 53861 48505 133380 8622 201206 48399 202984 198066 27715 12400 64286 39570 3254 135097 31898 35393 47764 46003 42910 136170 10733 53154 136171 39324 208450 139646 41750 50957 47869 38880 197651 25504 150055 22773 38661 206932 49983 15817 29243 42632 30277 201577 49788 12258 135175 18447 31543 22612 51975 15967 40630 29422 25459 24936 13193 60717 43391 24935 51559 57367 45638 20904 48680 44286 201964 133283 9723 20278 24592 29330 45474 131353 48357 44820 198371 8612 8362 15598 35206 264649 50474 42675 34360 42503 19237 51468 48716 19149 132420 45090 7859 42557 11342 45544 39798 51154 16557 45996 393886 13284 132839 2116 36007 20847 39819 206694 33837 18257 12703 54600 197695 49232 200858 61400 44128 25773 56958 8741 20928 3301 131921 3257 50340 43226 41176 9371 40476 13984 52030 12637 49367 3249 34309 210819 62904 208685 208951 7497 49334 2206 134175 201057 393698 35280 17621 265781 200081 201848 200552 14745 47288 59851 22653 64439 40994 393960 20207 59210 197988 14178 53831 10010 56552 43853 44112 42237 49457 3303 57866 41480 150374 31430 52201 29053 4459 12843 1759 11432 149146 40260 61226 56485 198717 196752 205282 51789 18747 133618 8068 133683 16625 15348 28660 42807 197720 59077 140227 6849 21554 24192 59564 24703 47217 20940 7162 30860 5505 40966 47894 16838 56150 24173 206281 265831 63730 11845 140576 55639 12350 2554 203226 34702 61451 202516 8308 48324 7258 44094 46385 12312 25563 8437 201682 213192 397563 28978 56059 203315 27647 38283 135629 46337 135354 58182 16086 34300 34941 38955 135543 210250 131965 44043 44016 200350 13238 208722 29049 56041 197492 42781 3595 31229 48854 36943 7643 48254 58593 134771 39845 139035 41357 4809 31242 5430 199456 17895 714 207651 63956} and not http.request.uri.path contains "/videos.xml" and not http.request.uri.path contains "/8-global.xml" and not http.request.uri.path contains "/9-global-videos.xml" and not http.request.uri.path contains "/images.xml" and not http.request.uri.path contains "yandex.zen" and not http.user_agent contains "VKRobot")



Правило 4:

(ip.geoip.country eq "UA") or (ip.geoip.country eq "CN")


Правило 5:

(lower(http.user_agent) contains "bot" and not lower(http.user_agent) contains "google" and not lower(http.user_agent) contains "bing" and not lower(http.user_agent) contains "vkrobot" and not lower(http.user_agent) contains "linkedin" and not lower(http.user_agent) contains "twitter" and not lower(http.user_agent) contains "telegram") or (lower(http.user_agent) contains "spider") or (lower(http.user_agent) contains "robot" and not lower(http.user_agent) contains "vkrobot") or (lower(http.user_agent) contains "search") or (lower(http.user_agent) contains "download")

При включении CF становится больше IPv6, причем это не означает, что это все боты.

Видимо при заходе юзера на сайт работающий через CF, приоритетным идет ipv6. Наверное CF какую то такую команду провайдеру-браузеру отсылает.

Если вам это напрягает, отключите поддержку IPv6, тут на форуме писали как это сделать.

Рост трафика и падение времени на сайте также коррелируются в гугл аналитике.

То есть сначала это видно просто на графике посещаемости.

Потом, если смотреть источники, то рост трафика при клауде происходит за счет прямых заходов.

У всех этих зоходов мизерное время нахождения на сайте.

Исходя из этих данных, и каких-то других, метрика пишет что это боты. И я с ней согласен.

Это боты. Вопрос еще в том, почему это происходит с некоторыми сайтами, а не со всеми.

Я отключал IPv6 в Клоудфларе. Действительно их не стало. А потом заметил, что небольшая часть заходов с ipv6 все же присутствует. Только не понятно откуда они идут.

Отключали полностью или отправляли на капчу/ Managed Challenge?

Полностью отключал. Их конечно очень мало осталось, но они есть.