联机分析处理系统概述
2024-07-21 02:08:50
供稿：网友
联机分析处理概述发展背景
随着数据库技术的广泛应用，企业信息系统产生了大量的数据，如何从这些海量数据中提取对企业决策分析有用的信息成为企业决策管理人员所面临的重要难题。传统的企业数据库系统（管理信息系统）即联机事务处理系统（on-line transaction processing,简称oltp）作为数据管理手段，主要用于事务处理，但它对分析处理的支持一直不能令人满意。因此，人们逐渐尝试对oltp数据库中的数据进行再加工，形成一个综合的、面向分析的、更好的支持决策制定的决策支持系统（decision support system，简称dss）。企业目前的信息系统的数据一般由dbms管理，但决策数据库和运行操作数据库在数据来源、数据内容、数据模式、服务对象、访问方式、事务管理乃至无力存储等方面都有不同的特点和要求，因此直接在运行操作的数据库上建立dss是不合适的。数据仓库（datawarehouse）技术就是在这样的背景下发展起来的。数据仓库的概念提出于20世纪80年代中期，20世纪90年代，数据仓库已从早起的探索阶段走向实用阶段。业界公认的数据仓库概念创始人w.h.inmon在《building the datawarehouse》一书中对数据仓库的定义是：“数据仓库是支持管理决策过程的、面向主题的、集成的、随时间变化的持久的数据集合”。构建数据仓库的过程就是根据预先设计好的逻辑模式从分布在企业内部各处的oltp数据库中提取数据并对经过必要的变换最终形成全企业统一模式数据的过程。当前数据仓库的核心仍是rdbms管理下的一个数据库系统。数据仓库中数据量巨大，为了提高性能，rdbms一般也采取一些提高效率的措施：采用并行处理结构、新的数据组织、查询策略、索引技术等等。
包括联机分析处理（on-line analytical processing，简称olap）在内的诸多应用牵引驱动了数据仓库技术的出现和发展；而数据仓库技术反过来又促进了olap技术的发展。联机分析处理的概念最早由关系数据库之父e.f.codd于1993年提出的。codd认为联机事务处理（oltp）已不能满足终端用户对数据库查询分析的要求，sql对大数据库的简单查询也不能满足用户分析的需求。用户的决策分析需要对关系数据库进行大量计算才能得到结果，而查询的结果并不能满足决策者提出的需求。因此，codd提出了多维数据库和多维分析的概念，即olap。olap委员会对联机分析处理的定义为：使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技术。olap的目标是满足决策支持或多维环境特定的查询和报表需求，它的技术核心是“维”这个概念，因此olap也可以说是多维数据分析工具的集合。
olap与oltp
olap最终的数据来源与oltp一样，均来自底层的数据库系统，但二者面对的用户群不同，数据内容的特点也不同。两者的区别概述如下表所示：
oltp数据 olap数据
原始数据 导出数据
细节性数据 综合性和提炼性数据
当前值数据 历史数据
可更新 不可更新，但周期性刷新
一次处理的数据量小 一次处理的数据量大
面向应用，事务驱动 面向分析，分析驱动
面向操作人员，支持日常操作 面向决策人员，支持管理需要
olap的特点和评价准则
olap的特点可以用五个关键字来代表：fast analysis of shared multidimentional information（fasmi,共享多维信息的快速分析）。这也是设计人员或管理人员用来判断一个olap设计是否成功的准则。
fast：系统响应用户的时间要相当快捷，要达到这个目标，数据库的模式应该朝着更广泛的技术发展，包括特殊的数据存储格式，预先计算和硬件配置等。
analysis：系统应能处理与应用有关的任何逻辑分析和统计分析，用户无需编程就可以定义新的专门计算,将其作为分析的一部分,并以用户理想的方式给出报告。用户可以在olap平台上进行数据分析,也可以连接到其他外部分析工具上，同时应提供灵活开放的报表处理功能，以保存分析结果。
shared：这意味着系统要能够符合数据保密的安全要求，即使多个用户同时使用，也能够根据用户所属的安全级别，让他们只能看到他们应该看到的信息。
multidimensional：olap的显著待征就是它能提供数据的多维视图系统必须提供对数据分析的多维视图和分析,包括对层次维和多重层次维的完全支持。
information: 不论数据量有多大,也不管数据存储在何处,ｏｌａｐ系统应能及时获得信息,并且管理大容量信息。这里有许多因素需要考虑,如数据的可复制性、可利用的磁盘空间、ｏｌａｐ产品的性能及与数据仓库的结合度等。
olap逻辑概念和典型操作
olap展现在用户面前的是一幅幅多维视图。
维（dimension）：是人们观察数据的特定角度，是考虑问题时的一类属性，属性集合构成一个维（时间维、地理维等）。
维的层次（level）：人们观察数据的某个特定角度（即某个维）还可以存在细节程度不同的各个描述方面（时间维：日期、月份、季度、年）。
维的成员（member）：维的一个取值，是数据项在某维中位置的描述。（“某年某月某日”是在时间维上位置的描述）。
度量（measure）：多维数组的取值。（2000年1月，上海，笔记本电脑，$100000）。
olap的基本多维分析操作有钻取（drill-up和drill-down）、切片（slice）和切块（dice）、以及旋转（pivot）等。
钻取：是改变维的层次，变换分析的粒度。它包括向下钻取（drill-down）和向上钻取（drill-up）/上卷(roll-up)
。drill-up是在某一维上将低层次的细节数据概括到高层次的汇总数据，或者减少维数；而drill-down则相反，它从汇总数据深入到细节数据进行观察或增加新维。
切片和切块：是在一部分维上选定值后，关心度量数据在剩余维上的分布。如果剩余的维只有两个，则是切片；如果有三个或以上，则是切块。
旋转：是变换维的方向，即在表格中重新安排维的放置（例如行列互换）。
olap系统的体系结构和分类
数据仓库与olap的关系是互补的，现代olap系统一般以数据仓库作为基础，即从数据仓库中抽取详细数据的一个子集并经过必要的聚集存储到olap存储器中供前端分析工具读取。典型的olap系统体系结构如下图所示：
olap系统按照其存储器的数据存储格式可以分为关系olap（relational olap，简称rolap）、多维olap（multidimensional olap，简称molap）和混合型olap（hybrid olap，简称holap）三种类型。
1. rolap
rolap将分析用的多维数据存储在关系数据库中并根据应用的需要有选择的定义一批实视图作为表也存储在关系数据库中。不必要将每一个sql查询都作为实视图保存，只定义那些应用频率比较高、计算工作量比较大的查询作为实视图。对每个针对olap服务器的查询，优先利用已经计算好的实视图来生成查询结果以提高查询效率。同时用作rolap存储器的rdbms也针对olap作相应的优化，比如并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、sql 的olap扩展(cube,rollup)等等。
2. molap
molap将olap分析所用到的多维数据物理上存储为多维数组的形式，形成“立方体”的结构。维的属性值被映射成多维数组的下标值或下标的范围，而总结数据作为多维数组的值存储在数组的单元中。由于molap采用了新的存储结构，从物理层实现起，因此又称为物理olap（physical olap）；而rolap主要通过一些软件工具或中间软件实现，物理层仍采用关系数据库的存储结构，因此称为虚拟olap（virtual olap）。
3. holap
由于molap和rolap有着各自的优点和缺点（如下表所示）,且它们的结构迥然不同，这给分析人员设计olap结构提出了难题。为此一个新的olap结构——混合型olap（holap）被提出，它能把molap和rolap两种结构的优点结合起来。迄今为止，对holap还没有一个正式的定义。但很明显，holap结构不应该是molap与rolap结构的简单组合，而是这两种结构技术优点的有机结合，能满足用户各种复杂的分析请求。
rolapmolap
沿用现有的关系数据库的技术
专为olap所设计
响应速度比molap慢；
现有关系型数据库已经对olap做了很多优化，包括并行存储、并行查询、并行数据管理、基于成本的查询优化、位图索引、sql 的olap扩展(cube,rollup)等，性能有所提高
性能好、响应速度快
数据装载速度快
数据装载速度慢
存储空间耗费小，维数没有限制
需要进行预计算,可能导致数据爆炸，维数有限；无法支持维的动态变化
借用rdbms存储数据，没有文件大小限制
受操作系统平台中文件大小的限制，难以达到tb 级(只能10~20g)
可以通过sql实现详细数据与概要数据的存储
缺乏数据模型和数据访问的标准
–不支持有关预计算的读写操作
–sql无法完成部分计算
•无法完成多行的计算
•无法完成维之间的计算
–支持高性能的决策支持计算
•复杂的跨维计算
•多用户的读写操作
•行级的计算
维护困难
管理简便
主要olap厂商产品介绍
hyperion
hyperion essbase olap server，在上面有超过100个的应用程序，有300多个用essbase作为平台的开发商。具有几百个计算公式，支持过程的脚本预言，及统计和基于维的计算。
强大的olap查询能力，利用essbase query designer，商业用户可以不用it人员的帮助自己构件复杂的查询。
广泛的应用支持，可以扩展数据仓库和erp系统的价值，建立对电子商务、crm、金融、制造业、零售和cpg（consumer packaged goods）等应用的分析程序。
speed-of-thought的响应时间，支持多用户同时读写
web-enabled的，以服务器为中心的体系结构，支持smp
强大的合作伙伴提供完整的解决方案，60多个包装好的解决方案，300多个咨询和实施公司。
丰富的前端工具，有30多个前端工具可供选择，其中包括hyperion自己的wired for olap、spider-man web application、objects、essbase spreadsheet add-in、web gateway 、 reporting 。
hyperion enterprise，为跨国公司提供的财务整合、报告和分析的解决方案。有3000多家组织在使用此套系统。
功能丰富：支持多种财务标准us gaap，canadian gaap，uk gaap，国际会计标准（isa），fasb，hgb。分公司间交易的自动平帐。fas52货币转换。fas94。
易用：可通过excel，lotus 1-2-3和各种浏览器访问系统。
支持公司结构的调整。
跨国公司的支持：同时支持6种语言及各个不同国家的法律和税收要求。
完整的过程控制和审计跟踪，及安全等级的设置。
能与erp或其他数据源集成
hyperion pillar，预算和计划工具。全球用户超过1500家，提供基于活动的预算，基于项目的计划，集中式计划，销售预测和综合计划。
分布式体系结构
详细计划的制订：允许一线经理制订详细的计划
复杂的建模和分析能力
oracle
express server提供全面的olap能力，有全球超过3000家用户
用户可通过web和电子表格使用
灵活的数据组织方式，数据可以存放在express server内，也可直接在rdb上使用
有内建的分析函数和4gl来用户自己定制查询
cognos
powerplay，为商务效率评价bpm（business performance measurement）提供全面的报告和分析环境。向决策者提供企业运行效率的各种关键数据，进行各种各样的分析。
只用鼠标点击、拖拉就可以浏览多维数据
自动利用web发布得到的分析报告
支持多种olap server：microsoft olap services、hyperion essbase、sap bw、ibm olap for db2
完备的授权和安全体系
novaview，是microsoft sql server 7.0 olap services的客户端应用程序。
microstrategy
microstrategy 7，是新一代的智能平台（intelligence platform）面向电子商务应用e-business和电子客户关系管理ecrm。
具有强大的分析能力
以web为中心的界面
支持上百万的用户和tb的数据
快速开发能力，可直接利用已有的数据模式
intelligence server，one for all analytic applications
microsoft
sql server 7.0 olap services，是sql server 7.0的olap模块，可以使用任何关系数据库或平面文件作为数据源，其中的pivottable service提供了客户端的数据缓存和计算能力。
智能的client/server数据管理，提高响应速度，降低网络流量
通过ole db for olap，允许不同的客户端访问
businessobjects
businessobjects，是易用的bi工具，允许用户存取、分析和共享数据。
可应用多种数据源：rdb，erp，olap，excel等
可应用vba和开放式对象模型来进行开发定制
ibm
db2 olap server，是强大的多维分析工具，把hyperion essbase的olap引擎和db2的关系数据库集成在一起。
与essbase api完全兼容
数据用星型模型存放在关系数据库db2中
brio
brio.enterprise，是强大的易用的bi工具，提供查询，olap分析和报告的能力
支持多种语言，包括中文
brio.report，强大的企业级报告工具
olap相关标准
apb-1 olap benchmark release ii(sponsored by olap council)
the benchmark simulates a realistic olap (on-line analytical processing) business situation that exercises server-based software. the goal of the apb-1 is to measure a server's overall olap performance rather than the performance of specific tasks. to ensure the relevance of the apb-1 to actual business environments, the operations performed on the database have been carefully chosen to reflect common business operations. for the purposes of comparing the performance of different combinations of hardware and software, a standard benchmark metric called aqm (analytical queries per minute) instead of aqt (analytical queries time) has been defined.
