СБОР ДАННЫХ Дальше мы столкнулись с важностью корректной передачи расходов. Пока искали — пробовали стандартный способ загрузки данных, что привело нас к ужасной неразберихе (данные то перезаписывались, то суммировались, то не подгружались), а поддержки Google Analytics как таковой нет.
Рассматривали вариант сбора — загрузки расходов через всем известные сервисы, но в рамках наших задач (множество аккаунтов, разные представления, разные (что очень важно) группы сайтов) это не подошло.
Таким образом, мы пришли к тому, что собирать данные по трафику мы будем в GA, а данные из рекламных систем — в отдельной базе и работать с ними уже в сервисе позволяющем объединить и визуализировать информацию. Лучшим решением оказался MS Power BI.
Power BI закрывал такие вопросы:
- возможность онлайн публикации, без установки дополнительных программ клиентами;
- широкий выбор и гибкость визуализаций;
- множество встроенных коннекторов, возможность подключения собственных баз и источников.
В итоге нам было нужно собирать, трансформировать и загружать данные из различных источников в Power BI, по сути нам нужна была технология ETL, представленная в отдельном сервисе.
На нашем рынке не так много сервисов решающих такие задачи. Мы рассмотрели основные из них:
В качестве основных показателей для сравнения мы использовали:
- время существования сервиса на рынке
- наличие поддержки необходимых сервисов
- поддерживаемые СУБД
- удобство использования данных
- работа службы поддержки
- темпы развития сервиса
- стоимость
Наиболее известным сервисом по передаче данных являлся OWOX. В нем реализована поддержка довольно большого количества сервисов, но специфика его работы в том, что в полученные данные из них могут загружаться либо в Google Analytics, в виде расходов на рекламу, либо в BigQuery. Поэтому часть сведений пришлось бы сначала передавать в Google Analytics, а затем уже оттуда в BigQuery.
myBI Connect, появившийся за несколько месяцев до начала работы над нашим проектом, ориентирован именно на выгрузку данных из всех поддерживаемых сервисов в СУБД, в качестве которой выступает Azure SQL Database. Количество поддерживаемых сервисов в нем было меньше чем в OWOX, но среди них были большинство нам необходимых.
Что же касается Renta, то сервис только появился и был предназначен для выгрузки данных в Azure SQL Database, как и myBI Connect, но только из трех сервисов.
Учитывая то, что в качестве инструмента для работы с данными был выбран Power BI, это сразу наложило некоторое ограничение на используемые СУБД, так как не со всеми он способен работать одинаково хорошо. Поэтому если бы мы хотели получить наиболее стабильное обновление данных в онлайн-сервисе Power BI, то выбирая из Azure SQL Database и BigQuery, вполне было логично сделать выбор в сторону Azure SQL Database. Это сразу же сузило список сервисов до двух:
Оба из этих сервисов были довольно "молоды", но если myBI Connect уже существовал около полугода и имел достаточно большой список поддерживаемых сервисов-источников, то Renta только появился и мог выгружать данные только из 3-х сервисов.
Кроме этого первый имеет довольно удобную структуру данных, которые связываются уже на уровне БД и не требуют дополнительной их обработки перед использованием. Поэтому мы могли просто подключить необходимые нам сервисы и практически сразу приступить к построению отчетов. При работе как с OWOX, так и Renta необходимо обрабатывать данные для того, чтобы в последующем их можно было объединить между собой, и даже в этом случае это получается не всегда.
Как оказалось в последующем сервис myBI Connect изначально проектировался для того, чтобы формировать полноценное аналитическое хранилище на основе данных из различных онлайн-сервисов, которое может сразу же быть использовано для анализа данных. Именно это и упрощает работу с ним.
Нетрудно догадаться, что выбор наш пал на
myBI Connect.