项目流程:

技术选型:

采集数据:Flume      存储平台:HDFS          基础设施:HIVE          运算引擎:SPARK SQL  

资源调度:YARN      任务调度:AZKABAN   元数据管理:ATLAS

分层设计:

ODS层:对应着外部数据源ETL到数仓体系之后的表!

DWD层:数仓明细层;一般是对ODS层的表按主题进行加工和划分;本层中记录的还是明细数据;

DWS层:数仓汇总层;

ADS层:应用层,主要是一些结果报表!

分层的意义:

数据管理更清晰!运算复用度更高!需求开发更快捷!便于解耦底层业务(数据)变化!

分层详解:

ODS层

数据内容:存放flume采集过来的原始日志

存储格式：以json格式文本文件存储

存储周期：3个月

DWD层

数据内容:对ODS层数据做ETL处理后的扁平化明细数据

存储格式:以orc/parquet文件格式存储

存储周期:6个月

DWS层

数据内容：根据主题分析需求，从DWD中轻度聚合后的数据

存储格式：以ORC/PARQUET文件格式存储

存储周期：1年

ADS层

数据内容：根据业务人员需求，从DWS计算出来的报表

存储格式：以ORC/PARQUET文件格式存储

存储周期：3年

DIM层

存储各种维表