Много отказов с гугла, куда копать?

Копать в направлении анализа рабочих сессий.

Проверяйте ранжирование по рабочему СЯ, возможно ошибки, а возможно и аномалии (временные).

Разобрался. Проблема была техническая. 

Неправильно настроил метрику на amp страницах и отказы считались не по правилу 15 сек, а по правилу гугла. Вот я и получал 80% отказов с amp трафика.

Да.. в основном причину нужно искать техническую, по сайту.

Часто даже на число отказов может влиять фон сайта, когда черный фон, белые буквы - отказы повышаются на 6-8%.

Проверено.

Выше уже ответили, но на всякий случай добавлю - отказы в стате можно нарисовать какие угодно. Значение этой метрики в аналитике никак не влияет на позиции. 

Я не добавил настройку фиксации отказов. И они считались по-гугловски

Вот корректная:

{
   "vars":{
      "counterId":"ID счетчика"
  },
  "triggers": {
      "notBounce": {
        "on": "timer",
        "timerSpec": {
          "immediate": false,
          "interval": 15,
          "maxTimerLength": 16
        },
        "request": "notBounce"
      }
  }
}

Ну я то не могу следить за посетителем после выхода с сайта. Для меня движения отказов (по метрике) это отражение поведенческих.