Data WareHouse
Зачем?
- деньги
- kpi
- что пошло не так
- что надо улучшить
Как?
- собрать все данные
- понять что в них лежит
- придумать отчеты
- придумать как их посчитать
Что есть сейчас?
Приложуньки
Базёнки
Ивентики
Статс диби
Скриптики
Биг куери
Айсед
Ад и израиль
Бедный саппорт
- репорты есть
- kpi считаются
- можно много чего посмотреть
- есть понимание хотелок
The Good
- 723 таблицы в статс диби
- 109 ивентов
- 0 документации
- три разные команды
- три разных метода подсчета
the Bad and the Ugly
- статс диби не тянет
- базки мигрируют
- неудобно
- непонятно
the Bad and the Ugly
- базки — апликушкам
- стейт — в ивенты
- одно место где смотреть
- документация
Что делать?
Что делать?
Приложуньки
Ивентики
ДВХ
Айсед
Солнце и израиль
Счастливый саппорт
Делать будем так
- анализируем воркфлоу
- в критических местах выплевываем ивент
- ивент несет бизнес стейт
- ивент несет подноготную апликушки
- важен баланс
Делать будем так
- ивенты склеиваем в базовые таблички
- на табличках — отчетики
- на отчетиках — бизнес решения
- всё задокументировать
Гладко стелишь!
А под капотом что?
- стрим процессинг на Spark и Flink
- данные хранить в колоночном формате
- sql доступ через Impala или Presto
- можно достучаться хоть к сырым ивентам, хоть к отчетам в одном месте
Juno dwh intro
By eshishki
