У пользователей Яндекс.Метрики появилась возможность забирать из Метрики сырые данные за любой период - и распоряжаться ими по своему усмотрению: решать сложные аналитические задачи или импортировать в другие системы аналитики. Выгрузку неагрегированных данных обеспечивает новый программный интерфейс - Logs API.
Неагрегированные данные - это записи об отдельных визитах или просмотрах. Таблица с этими записями и передается через Logs API, при этом каждая запись дополнена полезными сведениями из Метрики. Это подробные данные по Директу и по электронной коммерции, страна и город посетителя, а еще - различная техническая информация о визите: например, браузер и модель мобильного телефона.
Во многих случаях сырые данные необходимы, чтобы получить новую статистику помимо той, что доступна в отчетах. С их помощью можно составлять сложные воронки продаж и собственные модели атрибуции. Их можно добавлять к своим данным из других систем — например, чтобы собирать в одной точке всю статистику по рекламным расходам. Или на своей стороне связывать данные из Метрики с данными из CRM.
Нагрегированные данные передаются в стандартном формате tsv - такой файл можно легко импортировать в большинство систем управления базами данных. В их числе - ClickHouse, бесплатное открытое решение, на котором работает и сама Метрика. ClickHouse умеет обрабатывать сложные запросы в реальном времени, легко настраивается и не требует больших вычислительных ресурсов. А автоматически подгружать свежие данные в ClickHouse можно с помощью скрипта, подготовленного командой Метрики.
Документация по Logs API, подробное описание схемы данных и скрипт выгрузки в ClickHouse доступны здесь.
