数仓扫盲篇：什么是数据仓库？

不少人可能接触过数据仓库这一概念，那么，你是否了解数据仓库的定义和内涵呢？这篇文章里，作者结合自己的语言，针对数据仓库的定义、作用和特征等维度进行了总结分析，一起来看看吧，或许会对你有所启发。

一、什么是数据仓库？

百度是这样介绍的：

看起来有点抽象。

不管他，我们将数据仓库拆成“数据”+“仓库”，来理解。

继续百度。

数据：

仓库：

再简单上个仓库图，有画面感了！

数据+仓库，我们现在也可以粗暴的理解为“数据中转站”。

我们把仓库的描述进行拆分，通过对比数据仓库，来体会一下数据仓库是什么？

1）仓库的构成：库房、传送设施、出入库房的管道和设备、消防设施、管理用房

这里描述了货物的存储，出入，管理环节的基础设施。

那数据的存储，出入，管理环节同样也需要基础设施去支撑，数据存储在数据库或者文件系统里，数据通过ETL工具在数据仓库里流转，通过API对外提供数据，以及任务调度工具、节点管理工具去管理等。

2）按仓库存储的物品形态分为：固体、液体、气体、粉状物品

固体有固体的存储空间和方式，液体有液体的存储空间和方式，同样的气体、粉状物品都会有相应的存储方式。

数据也是一样，结构化数据可以存储在结构化的数据库，比如mysql，oracle等；文件等非结构化数据，也有相应的数据库去存储，比如HDFS，Hbase等。

3）按存储物品性质分为：原材料、半成本、成品

从加工的流程来看，物品在不同加工阶段，有不同的展现形式，数据也是一样，在原材料阶段，称为原始数据；对原始数据进行清洗，加工后，成为明细数据；对明细数据进行聚合，加工后，成为汇总数据；最后产出可直接应用的数据，成为应用数据。

4）按建筑形态分为：单层仓库、多层仓库、圆筒形仓库

对于存储不同形态的的物品，存储量不同，仓库也会有不同的建筑形态。数据仓库也是一样，根据应用场景，可以分为离线数仓，实时数仓，按照数据分层，可以分为贴源层，明细层，汇总层，应用层。

仓库有了，货物有了，还要考虑什么？

在现实生活中，每天都要存货，找货，出货。如何合理的存储货物，快速的查找货物，及时的把货物运出去才是仓库管理员最关心的。

数据也是如此，为了合理的存储数据，快速的使用数据，横向可对数据进行主题的划分，纵向可对数据进行层级划分（这里就不展开介绍了）。

经过以上对比介绍，大致就能理解数据仓库具体是干什么的了。

二、为什么需要数据仓库？

首先，数据仓库的典型用户是数据分析人员，使用场景是决策场景，那么企业为什么需要数据仓库，我们需要知道没有数据仓库前，数据分析是什么样的，就能知道为什么需要数据仓库？

这里需要先补充一下业务系统的范式模型是什么？

即指遵循3范式规则设计的表模型。

第①范式：列都是原子性的，即数据库表的每一列都是不可分割的原子数据项（为了消除冗余和方便查询，对数据拆分处理，主要是针对时间、地区等属性）。

第②范式：在1范式基础上，实体的属性需要完全依赖于主键全部，不能存在仅依赖主键一部分的属性（指不能只依赖联合主键的其中一个属性，只有一个主键可不考虑第2范式）。

第③范式：需要确保数据表中的每一列数据都和主键直接相关，而不能间接相关（消除冗余，降低实体属性和业务数据之间的影响）。

范式模型就像是异地恋，双方不在一起，只能通过电话联系，沟通效率不高，但是你也可以知道对方每天做了什么，吃了什么。但是范式模型是会关联多个哈，是个海王。

在业务系统中，范式模型强调减少数据冗余、单纯依赖关联关系，主要应用于在线事务系统。由于业务数据库是实时记录业务操作的，仅通过ID关联，在业务系统的各种实体属性修改时，不会牵扯到历史数据的回溯；以及业务数据修改时候，不会影响各种实体属性。

假设此时企业没有建设数据仓库。这时候来了一个分析需求，要求统计企业每个工程项目的物料使用情况和人力成本情况。

那么可能会遇到以下几个情况：

• 取数难：由于人资、物资、项目是三个子系统，你就得想办法去多个业务系统去搞生产数据，能不能拿到，需不需要审批，数据安全都是要考虑的问题。
• 分析难：每个系统的开发规则，规范程度、统计口径都不一致。你还要去做数据关系映射，了解原业务系统的数据逻辑，废了老大劲。
• 分析慢：由于业务系统是遵循范式建模的，发现关联了一堆表才能完成分析需求，分析时间长不说，还可能会影响业务数据库的稳定。
• 成本高：显而易见，在没有数据统一处理的情况下，这种分析需求费时费力，如果有更多更复杂的分析需求，该怎么办呢。

此时我们需要一个可以将各个业务系统数据集成起来，面向业务数据分析的，统一规划数据加工的规范，甚至是独立的，不会影响业务系统的数据模型组织方式。

数据仓库就是这样一种数据的组织方式，此处引出维度建模理论，那么维度模型是什么？

维度建模从分析决策的需求出发构建模型，为分析需求服务，因此它重点关注用户如何更快速地完成需求分析，同时具有较好的大规模复杂查询的响应性能。其典型的代表是星形模型。（来源大数据之路）

维度模型强调面向业务分析决策需求，提高数据查询的效率，可以减少关联，进行维度冗余。由于维度模型的数据具有稳定性，进入数仓的数据，不会发生修改，且数据都有历史记录，所以不需要考虑事实和维度之间的变化会互相影响。

但是数据冗余在提高查询效率的同时，也会增加存储成本。

维度模型就像是本地恋，恨不得天天腻在一起，去玩，去吃饭，相互之间了解的更多了，感情变好了，但是日常花销也变高了。

由以上问题我们可以推导出数据仓库的作用，以及为什么需要数据仓库？

• 隔离业务数据。
• 把散落在各个业务系统的数据集中起来，集中处理。
• 统一建模，沉淀数据处理的结果，降低重复加工。
• 提高数据的使用/共享效率，为企业决策提 供数据依据。

三、数据仓库有什么特征？

结合前两部分的介绍，我们总结一下数据仓库的特征：

• 面向业务的：根据业务过程对数据进行划分，让数据合理的组织和存储，方便快速查找和使用数据。
• 集成的：原始数据是从多个业务系统获得，要将这些来源不同的原始数据整合到一个数据库中统一处理。
• 稳定的：一旦进入数据仓库，就不允许被修改，一般的操作就是查询、定期的加载。
• 统一的：数据仓库可以对数据规范化、统一化处理，沉淀公共处理逻辑。

​Read More