Резко упало время на сайте.

А смысл? Стату Яндекс берёт с выдачи, внутренние посткликовые метрики, судя по всему, не так уж важны. Да и в целом любой сайт укладывается в некоторые нормативные шаблоны, о которых Яндекс и так знает всё (или делает вид).
Хотя сейчас снос Метрики хотя бы ускорит загрузку сайта, потому что как система статистики Метрика уже явно не канает.

Решили проблему? Столкнулся с точно такой же ситуацией. Падение по всем источникам в один день и далее ровное плато.

Резко упало время на сайте при этом есть рост посетителей и продаж. 

Накрутку негативного ПФ конкурентов исключаю, потому что время по всем источникам упало одновременно. 

Тогда у тебя и проблемы никакой нет.

Нужно разобраться в этой проблеме.

Явно ведь техническая проблема. 

При этом в Google среднее время без провалов. 

Никаких у меня идей нет. Но не удивлюсь, если это в Метрике что-то где-то подкрутили, может что-то поломали (и всё равно не признаются), а ТС, ты и подобные люди, столкнувшиеся с этим, теперь чешут головы, напрягают погромистов - и всё безрезультатно.

Может это как то связано с новой опцией "роботы" в отчетах. Но что с роботами, что без них одинаковое падение времени на сайте.