数据仓库理论介绍(随堂笔记)(持续更新)

    科技2025-09-12  78

    数据仓库理论介绍

    为什么学习数据仓库什么是数据仓库面向主题实例 集成非易失随时间变化 数据仓库分层数据库和数据仓库OLTP和OLAP Inmon架构kimball架构混合型架构数据仓库的解决方案数据ELT 数据仓库的建模选择业务流程声明粒度确认维度确认事实 星型模型特点优点缺点 雪花模型特点优点缺点

    为什么学习数据仓库

    数据不兼容,很难被整合战略决策需要数据的分析推荐系统

    什么是数据仓库

    数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合

    面向主题

    主题(Subject)是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念每一个主题基本对应一个宏观的分析领域在逻辑意义上,它是对应企业中某一宏观分析领域所涉及的分析对象 例如“销售分析”就是一个分析领域,因此这个数据仓库应用的主题就是“销售分析”

    实例

    一个面向事务处理的“商场”数据库系统,其数据模式如下:

    采购子系统: 订单(订单号,供应商号,总金额,日期) 订单细则(订单号,商品号,类别,单价,数量) 供应商(供应商号,供应商名,地址,电话)

    销售子系统: 顾客(顾客号,姓名,性别,年龄,文化程度,地址,电话) 销售(员工号,顾客号,商品号,数量,单价,日期)

    库存管理子系统: 领料单(领料单号,领料人,商品号,数量,日期) 进料单(进料单号,订单号,进料人,收料人,日期) 库存(商品号,库房号,库存量,日期) 库房(库房号,仓库管理员,地点,库存商品描述)

    人事管理子系统: 员工(员工号,姓名,性别,年龄,文化程度,部门号) 部门(部门号,部门名称,部门主管,电话)

    提取主题:

    主题一:销售 固有信息:员工号,顾客号,商品号,数量,单价,日期 员工信息:员工号,姓名,性别,年龄,文化程度,部门号 顾客信息:员工号,顾客号,商品号,数量,单价,日期 商品信息:商品号,商品名称,单价,重量,体积,…

    主题二:供应商 固有信息:供应商号,供应商名,地址,电话 商品信息:商品号,商品名称,单价,重量,体积,…

    主题三:顾客 固有信息:顾客号,姓名,性别,年龄,文化程度,地址,电话,职业,… 购物信息:顾客号,商品号,商品名,售价,购买数量,购买日期,…

    在每个主题当中,包含了相关主题的所有信息,同时又抛弃了与分析处理无关的数据

    集成

    集成性是指数据仓库中数据必须是一致的 数据仓库的数据是从原有的分散的多个数据库、数据文件和数据段中抽取来的 数据来源可能既有内部数据又有外部数据,例如F/M,0/1,A/B集成方法 统一:消除不一致的现象 综合:对原有数据进行综合和计算

    非易失

    数据仓库中的数据是经过抽取而形成的分析型数据:

    不具有原始性主要供企业决策分析之用执行的主要是“查询”操作,一般情况下不执行“更新”操作一个稳定的数据环境也有利于数据分析操作和决策的制订

    随时间变化

    数据仓库以维的形式对数据进行组织,时间维是数据仓库中很重要的一个维度:

    不断增加新的数据内容不断删除旧的数据内容更新与时间有关的综合数据

    数据仓库分层

    ODS:数据接入层 DWD:数据明细层 DWS:数据汇总层 ADS:数据应用层

    数据库和数据仓库

    数据库是为捕获和存储数据而设计 数据仓库是为分析数据而设计

    数据库数据仓库本质数据的集合数据的集合定位事务处理OLTP数据分析OLAP面向群体前端用户管理人员操作增删改查询数据粒度事件记录维度表结构三范式 3NF星型、雪花

    OLTP和OLAP

    联机事务处理OLTP 全名On-Line Transaction Processing OLTP是传统的关系型数据库的主要应用 主要是基本的、日常的事务处理,例如银行交易

    联机分析处理OLAP 全名On-Line Analytical Processing OLAP是数据仓库系统的主要应用,支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果

    对比属性OLTPOLAP读特性每次查询只返回少量记录对大量记录进行汇总写特性随机、低延时写入用户的输入批量导入使用场景用户,JavaEE项目内部分析师,为决策提供支持数据表征最新数据状态随时间变化的历史状态数据规模GBTB到PB

    Inmon架构

    kimball架构

    混合型架构

    数据仓库的解决方案

    数据采集 Flume,Sqoop,Logstash,Datax

    数据存储 MySQL,HDFS,HBase,Redis,MongoDB

    数据计算 Hive,Tez,Spark,Flink,Storm,Impala

    数据可视化 Tableau,Echarts,Superset,QuickBI,DataV

    任务调度 Oozie,Azkaban,Crontab

    数据ELT

    ELT分别代表三个单词: Extract:抽取,从操作型数据源获取数据 Transform:转换,使数据转变为适用于查询和分析的形式和结构 Load:装载,将转换后的数据导入到最终的目标数据仓库

    常见的ELT工具有: Oracle:OWB和ODI 微软:SQL Server Integration Services SAP:Data Integrator IBM:InfoSphere DataStage、Informatica Pentaho:Kettle(开源免费)

    数据仓库的建模

    数据仓库模型构建步骤:

    选择业务流程声明粒度确认维度确认事实

    选择业务流程

    第一步,确认哪些业务处理流程是数据仓库应该覆盖的,例如:了解和分析一个零售店的销售情况

    第二步,采取合适的记录方式

    使用纯文本使用业务流程建模标注(BPMN)方法使用同一建模语言(UML)

    声明粒度

    何为粒度?粒度用于确定事实中表示的是什么 例如:一个零售店的顾客在购物小票上的一个购买条目

    选择维度和事实前必须声明粒度建议从原始粒度数据开始设计 原始记录能够满足无法预期的用户查询不同的事实可以有不同的粒度

    确认维度

    何为维度?维度说明了事实表的数据是从哪里采集来的

    典型的维度都是名词 例如:日期、商店、库存等维度表存储了某一维度的所有相关数据 例如:日期维度应该包括年、季度、月、周、日等数据

    确认事实

    识别数字化的度量,构成事实表的记录和系统的业务用户密切相关大部分事实表的度量都是数字类型的 可累加,可计算 例如:成本、数量、金额

    星型模型

    特点

    由事实表和维度表组成一个星型模式中可以有一个或多个事实表,每个事实表引用任意数量的维度表星型模式将业务流程分为事实和维度 事实包含业务的度量,是定量的数据 如销售价格、销售数量、距离、速度、重量等是事实 维度是对事实数据属性的描述 如日期、产品、客户、地理位置等是维度

    优点

    简化查询简化业务报表逻辑获得查询性能快速聚合便于向立方体提供数据

    缺点

    不能保证数据完整性对于分析需求来说不够灵活

    雪花模型

    特点

    一种多维模型中表的逻辑布局由事实表和维度表所组成将星型模式中的维度表进行规范化处理 把低基数的属性从维度表中移除并形成单独的表一个维度被规范化成多个关联的表

    优点

    一些OLAP多维数据库建模工具专为雪花模型进行了优化规范化的维度属性节省存储空间

    缺点

    维度属性规范化增加了查询的连接操作和复杂度不确保数据完整性
    Processed: 0.013, SQL: 8