[@more@]
MSDM只要针对的是多地区,多维度,跨时区的操作,特别是零售和制造行业,不同地区存在不同的ERP系统和其他同类型不同操作的系统。很多大型的业务系统,有很多的定时进程是在晚上运行,比如汇率转换计算,数据备份等,而不同国家地区的操作策略也不一样。数据仓库的有些机制是需要业务原系统的参与,比如数据的导入,有些则不需要原系统的参与,比如数据仓库的数据删除,索引建立,为了不影响数据仓库系统的及时性和准确性,有必要对数据仓库各层进行分解和合并。
原有的多维模型和关系模型过多的讲究统一性和一致性,倒是在推广BI的过程中,很难用系统去驱动业务,而不是常见的业务驱动,求同存异也是BI系统的一个特点。
所以而且多层多步骤实施也是现在企业实施BI的一个趋势。MSDM其实都是为了保证系统求同存异而设计的。
MSDM是指在企业存在多业务系统情况下,为了适应后续系统的建立与性能调优,而建立的模型,此模型的建立将操作型数据存储层分立,在展现层合并的数据模型。
合并的数据模型的特点如下:
1:ODS层的数据按照不同的业务数据源分开存储,并将业务系统的维度数据统一整合,并用数据源名称和数据归属区域加以标示。
2:为了保证数据质量,加一层名为数据检查层(Validation Agent),将各业务系统的数据检查结果按照预先定义的或者后续检查定义的加以标识,这里可以按照数据的自增序号进行关联。
3:数据检查层可以设置一个数据验证引擎(Validation Agent)和相应的数据检查规则。这里只标示数据检查的结果,不更新和删除数据。数据检查层位于ODS层后,数据整合层前;
4:数据更新层可以设置一个数据清洗引擎(Cleaning Agent)和相应的更新机制,主要正对数据检查层的检查结果,设置相应的更新策略。数据更新层位于数据检查层后,数据整合层前。
5:数据整合层有三种设计策略
一:易合并数据,可以将事实数据和维度数据合并,并在SOR记录上标示数据来源系统和操作时间;
二:不易合并数据,可以将事实数据分开,维度数据合并,并标示数据来源系统统和操作时间;
三:大表操作策略,将维度数据和实施数据按照相关性和粒度,将数据合并在一起,并分开存放维度数据,标示数据来源系统和操作时间;
6:在展现数据层或者导入cube的时候, 针对分立的数据源用视图和维度统一性用视图操作,将相应的数据用视图进行操作。
检查层和更新层是独立各层之外的,为各层服务的。它只需要为各业务数据单独设立其相应的策略和机制即可。可以针对不同类型的业务数据进行验证和清洗。同时可以加入相应的日志和报警设置,方便ETL,数据展现和数据质量检查。