智慧校园数据***享平台的设计与实现
作者:王汉文 李云春 张建华 杨秀梅
实施方案
数据建设原则
数据的权威性在数据来源方面,确定权威数据来源,当其中数据发生变化时,主动向***享数据库发出修改请求,同时由权威数据库或者***享数据库向其他需要该数据的数据库发出修改命令。
数据的及时性当某个业务系统的数据库中数据发生变化时,数据能及时的体现,并产生相应的作用。数据的准确性保证中心数据库从其他业务数据库中,抽取数据的准确性,对于新建的数据库,完全按照数据标准执行;对于已经存在的数据库,如果存在没有按照标准建设的情况,首先分析其数据字典,再完成数据项之间的准确对应。
数据的安全性在数据的抽取,转换和加载过程中,保证数据的安全,通过相应的加密等安全手段,保证整个过程的安全。
数据的可靠性对数据的抽取和使用过程,进行全面的监控,当数据转换过程出现问题时,能及时报错,并自动或者手动完成回滚等,保证数据流程的可靠性。
总体架构
系统建设架构如图1 所示。
\
数据中心主要包括以下几个层次:业务数据源层、数据集成与存储层、数据服务接口层以及数据应用层,在各层的数据存储与维护中,严格遵循统一的数据标准。
业务数据源层包括学校各个部处的信息化业务数据,囊括所有需要集成到数据中心的业务系统数据。数据集成与存储层通过数据集成工具,按照统一的数据标准,进行数据的抽取、清洗与转换,支持数据的触发式更新、增量更新、定时抽取等多种同步和异步的数据维护方案,在多种主流异构的数据库和数据源之间完成数据的集成与存储,该层主要建有***享数据库、归档数据库以及数据仓库。数据服务接口层主要通过建立多类统一的数据接口,对外提供对***享数据的访问和功能的调用,主要提供以下几类数据接口:人事数据接口、财务数据接口、教学数据接口、科研数据接口、资产数据接口、后勤数据接口等。数据应用层在数据接口层提供数据的基础上,提供教师服务、学生服务、领导决策和数据审计管理等应用,完成相关应用服务的建设与开发。
1. 数据平台部署结构
数据***享库采用Oracle 数据库,使用RAC 技术将两台服务器搭建成数据库集群,后端连接网络存储,前端通过内网交换机与数据交换服务器、数据标书服务器以及其他应用系统服务器连接。
2. 交换模式
数据***享平台中的数据交互模式,采用如图3 方式,在业务数据库与数据中心库间,建立中间过程库。如果业务数据库中的数据符合执行数据标准,直接将相关数据用ODI 或者Web Server等方式交换到中心库中,如果业务部处数据中的数据和执行标准存在不一致的现象,将业务数据库中的数据经过中间库,使用ODI 等工具进行数据的清洗和转换,最后交换到***享数据中心中。
图3 数据交换模式
3. 交换模块实现原理
数据交换模块的实现机制,如下:数据处理平台,提供数据处理一系列功能,包括ETL(数据抽取、数据转换与数据加载)功能,数据传输功能,该模块实现数据的清洗、转换、同步、迁移等业务需求,是构建数据集成与存储层的基础。建设中主要采取以下几种数据加载方式:实时性加载,对于数据实时性要求较高的交换数据,采用实时性加载策略,ODI 加载数据时采用较小的时间间隔轮询监视业务系统相关数据变化,对于数据的实时更新,解决方案有两种:全表扫描方式,在业务系统中对需要同步的表进行全表扫描,识别差异数据,更新到数据交换中心;触发器方式,在业务系统中对需要同步的表创建触发器,当业务表数据有更新、修改、新增、删除操作时,通过触发器同步到数据交换中心,以上方案会对业务系统产生较大的压力,不会大面积使用;准实时性加载,此种方式采用T-1 时间方式处理,即每天晚上12 点以后进行加载,加载今天以前的数据,在数据实时性上会有一天的延时,但降低了业务系统的压力。
4. 交换过程与结果监控
数据的监控平台完成对系统总体的运行监管,提供对数据交换、更新以及数据应用层服务的监控,完成对用户行为、访问日志、数据安全等方面的监控功能。其主要作用有:发现在数据抽取、数据加载和数据转换时发生的错误,及时发出报警,并采取相应的措施;同时提供对数据应用层服务的监控,反应各种应用的进展情况,推进相关流程的正确执行 ;对用户的行为,访问记录以及进程信息进行有效的监控,对有关数据进行审计,发现系统运行中的问题,及时采取有效的应对措施,保障系统的安全运行。
图4 结果监控
数据同步监控:监控数据同步的健康状况,数据同步的数据当量,数据同步的周期与处理时间,数据同步的执行结果等。同时产生数据运行情况的审计报告。
总结
完善数据***享中心
从深度和广度两方面,完善对数据***享中心的建设。一方面,扩充业务数据范围,将各个职能部门和学院的业务数据融入数据中心,保证数据的全面性;另一方面,进一步建设应用性数据仓库,积累数据资源,充分发挥数据资产的价值,盘活数据资产,从数据中挖掘有用信息,为学校领导决策和发展,给出建设依据和方向。
依据***享数据中心,开发智慧应用
学生成绩预警、学生经济状况分析、空闲教室查询、食堂就餐情况统计;以数据为中心,优化相关部处业务流程;以师生体验为中心,提供更加便捷的“一站式”服务;以***享的数据平台为基础,充分利用已知数据信息,为广大师生提供“一张表”服务。