大数据分析系统架构图

大数据分析系统架构图

OLAP引擎：OLAP引擎提供全面的多维建模与分析能力。多维模型包括维度、层次、级别、属性、指标、计算成员等；同时预置系列分析函数，包括同比/环比/期比/基比等时间序列分析、占比/排名/方差等统计分析、指数回归和线性回归分析等；提供标准的MDX解析与执行，与数据仓库等模块结合，提供针对海量数据的实时分析和处理能力。

语义层：为统一的查询建模平台和数据访问接口。除提供标准的查询建模能力外，还有语义驱动、语义规则、语义函数、描述器等等扩展方式，满足不同层面的扩展要求。

数据集成：能够胜任在大数据量、高并发、多维分析等环境背景下的实时分析。通过实时数据集成（RDI）提供的数据实时复制与DW的列式存储引擎，解决了以往在传统架构模式下，普通行式存储引擎无法实现的业务场景。

数据仓库：数据仓库提供针对海量数据进行高效的查询和分析。包括同时支持关系数据库、NoSQL数据库、以及分布式文件系统进行数据存储和加载的多存储引擎，基于MapReduce框架针对海量数据的高性能查询和分析，以及MapReduce 框架本身具有的高扩展性和容错性。

数据挖掘：支持运行于分布式文件系统和分布式计算平台之上的分布式数据挖掘算法大数据架构图，具体包括：K均值、谱聚类算法及其分布式实现；逻辑斯特回归、朴素贝叶斯分类算法及其分布式实现；频繁模式挖掘分析算法及其分布式实现；潜在狄利克雷分配语义挖掘算法及其分布式实现；协同过滤、概率矩阵分解推荐算法及其分布式实现；提供分布式挖掘算法的统一操作原语和执行引擎。

流计算引擎：流计算引擎是为解决系统的实时性和一致性的高要求的实时数据处理框架，具备高可拓展性，能处理高频数据和大规模数据，实时流计算解决方案被应用于实时搜索、高频交易的大数据系统上。

消息总线：包括主数据管理、应用集成开发环境、集中身份管理、集成监控管理等。满足集成平台的应用需求，支持信息集成、界面集成、流程集成、服务集成等集成方式。

非结构化数据管理：非结构化数据不包含内嵌的语义结构描述信息，而信息系统需要结合其“内容”而不仅仅是数据本身进行查询、检索、分析与挖掘，因此非结构化数据管理系统需要实现非结构化数据的数据提取，提取的非结构化数据是进行后续处理的基础，具体包括结构化信息和底层/高层特征的提取两个。非结构化数据提取组件依赖于分布式文件系统和非结构化数据存储提供的原始数据作为数据源数据，依赖于非结构化数据存储来存储提取的元数据或者特征数据，依赖于并行计算框架来分布化执行过程，加快执行速度。

分布式计算系统：包括分布式文件系统和分布式计算框架。分布式文件系统以高可靠的容错机制为核心，系统架构包括多元数据服务器、多数据存储服务器、多监管者、多客户端，支持大文件和大数据块的分布式存储与管理；分布式计算框架基于MapReduce与MPI计算模型，提供了一套并行计算框架；并利用物理机以及虚拟机的监控信息，实现对计算资源的合理分配，支持对大量工作任务的灵活切分和分布式调度。

（编辑：晋中站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!