在数据仓库的数据模型设计过程中,经常会遇到这样的需求:
1. 数据量比较大;
2. 表中的部分字段会被update,如用户的地址,产品的描述信息,订单的状态等等;
3. 需要查看某一个时间点或者时间段的历史快照信息,比如,查看某一个订单在历史某一个时间点的状态,
比如,查看某一个用户在过去某一段时间内,更新过几次等等;
4. 变化的比例和频率不是很大,比如,总共有1000万的会员,每天新增和发生变化的有10万左右;
5. 如果对这边表每天都保留一份全量,那么每次全量中会保存很多不变的信息,对存储是极大的浪费;
拉链历史表,既能满足反应数据的历史状态,又可以最大程度的节省存储;
举个简单例子,比如有一张订单表,6月20号有3条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
创建订单
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
到6月21日,表中有5条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
创建订单
|
到6月22日,表中有6条记录:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
已发货(从支付到发货)
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
支付完成(从创建到支付)
|
2012-06-22
|
006
|
创建订单
|
数据仓库中对该表的保留方法:
1. 只保留一份全量,则数据和6月22日的记录一样,如果需要查看6月21日订单001的状态,则无法满足;
2. 每天都保留一份全量,则数据仓库中的该表共有14条记录,但好多记录都是重复保存,没有任务变化,如订单002,004,数据量大了,会造成很大的存储浪费;
如果在数据仓库中设计成历史拉链表保存该表,则会有下面这样一张表:
订单创建日期
|
订单编号
|
订单状态
|
dw_begin_date
|
dw_end_date
|
2012-06-20
|
001
|
创建订单
|
2012-06-20
|
2012-06-20
|
2012-06-20
|
001
|
支付完成
|
2012-06-21
|
9999-12-31
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
9999-12-31
|
2012-06-20
|
003
|
支付完成
|
2012-06-20
|
2012-06-21
|
2012-06-20
|
003
|
已发货
|
2012-06-22
|
9999-12-31
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
9999-12-31
|
2012-06-21
|
005
|
创建订单
|
2012-06-21
|
2012-06-21
|
2012-06-21
|
005
|
支付完成
|
2012-06-22
|
9999-12-31
|
2012-06-22
|
006
|
创建订单
|
2012-06-22
|
9999-12-31
|
说明:
1. dw_begin_date表示该条记录的生命周期开始时间,dw_end_date表示该条记录的生命周期结束时间;
2. dw_end_date = '9999-12-31'表示该条记录目前处于有效状态;
3. 如果查询当前所有有效的记录,则select * from order_his where dw_end_date = '9999-12-31'
4. 如果查询2012-06-21的历史快照,则select * from order_his where dw_begin_date
<= '2012-06-21' and end_date >= '2012-06-21',这条语句会查询到以下记录:
订单创建日期
|
订单编号
|
订单状态
|
dw_begin_date
|
dw_end_date
|
2012-06-20
|
001
|
支付完成
|
2012-06-21
|
9999-12-31
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
9999-12-31
|
2012-06-20
|
003
|
支付完成
|
2012-06-20
|
2012-06-21
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
9999-12-31
|
2012-06-21
|
005
|
创建订单
|
2012-06-21
|
2012-06-21
|
和源表在6月21日的记录完全一致:
订单创建日期
|
订单编号
|
订单状态
|
2012-06-20
|
001
|
支付完成(从创建到支付)
|
2012-06-20
|
002
|
创建订单
|
2012-06-20
|
003
|
支付完成
|
2012-06-21
|
004
|
创建订单
|
2012-06-21
|
005
|
创建订单
|
可以看出,这样的历史拉链表,既能满足对历史数据的需求,又能很大程度的节省存储资源;
关于这种历史拉链表的etl刷新策略和方法,下次再谈吧。。。
分享到:
相关推荐
中国物业管理行业定价洞察:数据仓库系列-20210210-中信证券-40页.pdf
多维数据模型充当数据仓库的基础,因此,数据模型的质量会极大地影响数据仓库的质量。 指标用于衡量数据仓库的质量。 不同的作者提出了各种指标来评估数据仓库的概念数据模型的质量因素,例如易懂性,可维护性,...
Apache Kylin是一个开源的、分布式的分析型数据仓库,提供Hadoop/Spark 之上的 SQL 查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。
| :------------------------------: | :--------: | :----: | :-------: | :------------: | :--: | | 朴素贝叶斯+jieba精确模式 | 词袋模型 | 84.33% | 0.60 | 0.47 | 0.74 | | 同上 | tyidf | 88.97% | 0.33 | ...
推荐,数据仓库建设学习资料合集,包含建设规范、架构、工具及模型等资料。共38份。 2021数据仓库服务常见问题-华为-51页 2021云数据仓库专业服务-华为-168页 阿里云数据中台-金融行业新一代数据仓库解决方案 ...
在数据分析中有时会需要维护一些历史状态,比如订单状态变化,评分变化,为了保存下来这些状态变化的路径,可以同过拉链表实现 -- 使用场景 1、数据量比计较大,但业务要求每次需要查询全量历史,每天存储一份全量...
数据治理及数据仓库模型设计.pdf
练习创建流在Java 8中,流是一种非常强大的新数据类型。 此仓库用于练习创建它们的多种方法。 打开文件然后按照注释中的说明进行操作。
基于财务数据分析的数据仓库模型 基于财务数据分析的数据仓库模型
数据仓库:业务模型分析与设计数据仓库:业务模型分析与设计数据仓库:业务模型分析与设计数据仓库:业务模型分析与设计
传统数据库在数据大小比较小,索引大小适合内存,数据缓存命中率足够高的情形下能正常提供服务。但残酷的是,这种理想情形最终会随着业务的增长走到尽头,查询会变得越来越慢。你可能通过增加更多的内存,订购更快的...
数据库 数据仓库 数据模型数据库 数据仓库 数据模型数据库 数据仓库 数据模型数据库 数据仓库 数据模型数据库 数据仓库 数据模型数据库 数据仓库 数据模型
数据仓库维度模型实践-数据规范-网易02.pdf
COVID-19数据源使用的定期更新的数据集的存储库。 我们想要定期重新获取的任何内容都应该与自动更新的脚本一起存在于此存储库中。笔记最近,我们将默认分支从master更改为main 。 如果您在本地签出了仓库,则可以...
数据仓库中的逻辑数据模型设计 ---- 论文
数据仓库维度建模实践-模型设计-网易03.pdf
基于⼤数据的数据仓库-数据仓库建模基本理论 (内容整理⾃⽹络学习视频) ⼀、数仓建模的⽬标 访问性能:能够快速查询所需的数据,减少数据I/O。 数据成本:减少不必要的数据冗余,实现计算结果数据复⽤,降低⼤数据...
症状:新建用户,授予部分物料的数据权限,登陆K/3后,查询物料收发汇总表(物料收发明细表),勾选参数“显示MTO数量调整单数据”,确定后无法进入报表;如果不勾选参数,或把用户加入管理员组,则可以正常进入报表...
IBM数据仓库需求建模方法及行业数据仓库模型IBM数据仓库需求建模方法及行业数据仓库模型
使用此扩展,您可以跨多个数据源实时在ClickHouse上运行分布式查询,从而以某种方式简化了用于数据仓库,监视和完整性检查等的数据管道的构建过程。 概述 已知问题/局限性 诸如jdbc-bridge is not running类的连接...