Как-то синхронность графиков действительно наталкивает на эту мысль.
вебмастера не осиливают признать то что яндексу выгодны эти боты. реальный траф на сервисах яндекса падает, рунетовские рекламодатели нищают, сокращая затраты на рекламу. но инвесторам нужно показать красивые цифры и рост. В итоге что видим - в мире и особенно в ру странах у всех бизнесов кризис и только у яндекса рост прибылей. откуда? - от ботов. Да это рубить сук на котором сидишь, но в нашем менталитете и мозгах нету привычки работать на долгосрочные перспективы, урвем сейчас а завтра хоть трава не расти, вот такой бизнес план яндекса. Потому страдать вебмастера от ботов будут еще очень долго.
https://ztds.ru/ для распределения. антибот перед ней для фильтрации.
ну и дальше сравнивать статистику, сколько вам трафа отправила тизерка и сколько в итоге пришло на вашу тдс.
Даже если вы сделаете страничку на чистом html, с одной фразой "Привет посетитель", она будет работать медленнее чем сервисы гугла (утрирую). У них и технологии и распределение по миру, приложения, и еще куча всего, включая - а нафига им очки по PageSpeed Insights )) Им будут пользоваться при любых условиях и он сам топ.
Для всех остальных, придется играть по правилам гугла, включая скорость.