[数仓设计与建模] 数仓的分层

发布时间 2023-11-10 22:14:46作者: Akira300000

以下各层按照从底部到顶部排列,从原始数据到最终应用

1 Operation Data Store 原始数据层

存放最原始的数据,结构与数据源结构一致,属于准备区

  • 基于从业务系统同步过来的数据结构
  • 可以保存所有历史数据,应选择高压缩格式,如gzip
  • 命名规则应为ods_tableName_inc/full

2a Data Warehouse Detail 明细数据层

基于维度建模理论构建,存放维度模型中的事实表,保存业务过程中最小粒度的操作记录

2b Dimension 公共维度层

基于维度建模理论构建,存放维度模型中的维度表,保存一致性维度信息

2c Data Warehouse Summary 汇总数据层

基于指标需求,以分析的主题为对象作为建模驱动,构建公共统计力度的汇总表(?

example

需求1:统计各省份退货率 = 退货次数 / 下单次数
需求2:统计各省份支付率 = 支付次数 / 下单次数
两个需求中都涉及对一张表(下单表)的利用,可以将该表处理好的数据结果放入汇总层,这样后续的其他数据处理操作中直接引用汇总好的结果即可

3 Application Data Service 数据应用层

存放各项统计指标结果