什么是数据仓库的架构?企业数据仓库架构如何建设?
浪尖聊大数据
共 5042字,需浏览 11分钟
·
2024-04-12 02:03
全文共4102字,建议阅读11分钟
企业数据仓库架构
关于数据仓库,有一种简单粗暴的说法,就是“任何数据仓库都是通过数据集成工具连接一端的原始数据和另一端的分析界面的数据库”。
数据仓库用来管理企业庞大的数据集,提供转换数据、移动数据并将其呈现给终端用户的存储机制。许多架构方法以这样或那样的方式扩展数据仓库的能力,我们讲集中讨论最本质的问题,在不考虑过多技术细节的情况下,整个层次架构可以被划分为4层:
原始数据层(数据源)
数据仓库架构形态
数据的采集、收集、清洗和转换
应用分析层
单层架构(直连)
两层数据架构(数据集市层)
三层架构(OLAP)
底层:数据仓库服务器的数据库作为底层,通常是一个关系数据库系统,使用后端工具将数据清理、转换并加载到该层。
数据仓库的4层核心组件:底层源数据库(数据存储方案)、ETL、前端应用、还有OLAP服务。
数据仓库数据库
1、采用传统关系型数据库,或经过功能扩展的MPP数据库
2、大数据平台架构:Hadoop+Hive
采集、收集、清洗和转换工具(ETL)
数据来源、转换和迁移工具用于执行将数据转换为数据仓库中的统一格式所需的所有转换、摘要和所有更改,它们也称为提取、转换和加载工具。其功能包括:
1、抽取
2、清洗
3、转化和加载
数据查询和报表工具
BI即席分析工具
数据挖掘工具
-
各种基于数据仓库或数据集市的应用开发工具
1、数据查询和报表工具
2、BI即席分析工具
BI工具做什么的不多说了,在项目选型的时候主要考虑上手难度(考虑没技术基础的业务用),数据处理性能,其他就是技术选型的事,还有成本。
3、数据挖掘工具
4、应用开发
评论