摘要
为了加快信息技术的集成与应用,提高全省各个环保信息化部门之间信息数据共享程度,实现分布式业务数据和跨系统数据的信息共享,提高厅内环境信息系统的运作效率。国内各地提出了“数字环保”工程建设,合力运用系统整体支撑平台、异构整合的数据中心及统一门户,实现各类环境业务的集成,提高环境保护综合决策能力。在“数字环保”系统建设过程中,基于XML的异构数据集成技术是实现“数字环保”系统完整数据库建设的关键。
本课题主要分析XML技术和异构数据集成技术的特点和实现方式,探讨异构数据集成的方法和设计方式与数字环保的结合,研究基于XML的异构数据集成技术在数字环保建设中的应用。针对其中异构数据的集成需求,提出了完整的设计方案并进行了实现,最后通过功能和性能测试,验证了这种方法的可行性和广泛适用性。
本课题在分析异构数据集成的技术基础之上,推出数据库中间件技术来完善异构数据库之间的相互集成。此中间件利用可扩展标记语言来储存metadata的属性标识,其中包含了全局表格映射出来的全局表格、局部表格、与局部表格有关联性的Web服务的信息等。服务分解模块接收由应用程序发送的请求,并对metadata的请求进行分析,后分化为不同的服务请求发送给引用。再由服务引用模块从Web服务的服务中心找到服务提供者的信息,再把信息打包,打包后的信息发送给相应的Web服务包装器,这样就可完成对各异构数据库的分项查询,然后将实施后的结果作为一个简单对象访问协议(SOAP)返回到中间 件的服务模块。每个服务到SOAP的服务模块,转化为一个本地文件,以供合成模块。
课题解决以下几个难点:
1.异构性:数据模式不同造成的数据异构,数据库管理系统不同造成的数据异构,数据表示的语义上存在数据异构;
2.透明性:透明性主要包括语义、平台、系统和数据源等的透明性,透明性要求的高低取决于数据源异构程度的大小;
3.自制性:每个局部数据可以确定能否供给和供给多少它的功用和资源服务给于另外的成员系统,而每个局部数据库都有对本身全部的操控能力。
(包括项目的研究意义和必要性、国内外研究现状和发展趋势分析,并附主要参考文献及出处。字数不限)
研究意义
随着人类社会工业化进程的不断发展,环境问题日益严重,为了子孙千秋的明天,中国正以一个负责任的发展中国家的态度重视环境,并努力通过各种手段和措施加以改善。环境保护与污染源管理综合信息平台是采用先进的信息化手段,为向公众负责的服务型政府提供环境监测、优化、管理,污染源控制、治理、消灭,政策制定、检验、评估、修正,并进一步探究环境问题成因的综合性公共服务平台。
数字地球是当前信息科技发展的热点之一。数字地球是计算机技术、互联网技术和虚拟现实技术等联合框架上以地球为参照系的多学科融汇。数字环保是数字地球在环保信息化和环境管理决策中的应用。在国家数字地球战略的基础上实施数字环保,是保护人类生存环境的必然选择,也是最终实现“智慧环保”的必经之路。人地(人与地球)关系对社会发展的影响日渐增强,呼唤着适合时代的地球描述方式的产生。20 世纪以来,人类创造了前所未有的物质财富,加速了文明发展的进程,但人口剧增、资源消耗过度、环境污染和生态恶化等问题严重影响了人类的生存与发展。与此同时,人类的生存环境(地球)与人类发展关系的研究越来越受到各国政府的重视,大量的资金投入环境信息的收集,人类拥有的地球表面数据覆盖到全球的每个角落。传统的平面地理坐标系远不能满足覆盖全球、 涉及各种信息、 涵盖各个领域的环境与发展研究,尤其在政府决策、地学研究领域急需一种新的、适合时代的地球描述方式,这时,“数字地球”也因应时代的需要而产生。数字地球(Digital Earth)最早由美国前任副总统戈尔于 1998 年 1 月 31 日 数字地球 在美国加利福尼亚科学中心发表的题为“数字地球:二十一世纪认识地球的方式” 的讲演中明确提出来的,戈尔在他的文章里指出“我们需要一个‘数字地球’,即一种可以嵌入海量地理数据的、多分辨率的和三维的地球的表示,可以在其上添加 许多与我们所处的星球有关的数据”。数字地球概念的形成基于目前人类已经掌握或将要拥有的新技术以及多种 高新技术的综合集成。其最主要的基础设施建设是信息高速公路(即 NII)和国家空间数据基础设施(NSDI)。专家提出“开放的全球网络和大容量的分布式存储技术是数字地球的基础”。构筑数字地球的主要支撑技术有:计算机及网络通信、卫星遥感(RS)、全球定位(GPS)、地理信息系统(GIS)、虚拟现实透视化、互联网互动、数据仓集成和智能化建模等技术。当大洋彼岸政治家的科学畅想“数字地球”成为中国科技热的新焦点时,另一个新的概念“数字环保”也随之产生。种种迹象表明,我国的“数字环保”建设已经进入一个新的阶段,它已让人真真切切地感受到数字环保正大踏步地向我们走来。简单地说,数字环保是数字地球在环保信息化和环境管理决策中的具体应用。
数字环保就是指用信息化手段和移动通信技术手段来处理、分析和管理整个城市的所有环保业务和环保事件信息,促进城市管理的现代化的信息化措施。数字环保利用现代信息技术和移动通讯技术实现移动办公、环保执法自动化和规范化。数字环保由环境监管信息集成系统、环境数据中心、环境地理信息系统、移动执法系统、环境在线监控系统、环境应急管理系统、及综合报告系统组成。数字环保通过远程环境管理平台、环境自动监控系统和电子政务网络平台,收集、整理环保信息资源,建成环境电子信息资源库,为环保部门和社会提供广泛、完善的环境数据查询服务。环境数据涵盖建设项目环保审批、排污收费管理、工业污染源远程监控、12369信访举报和水、气、声自动监测等系统数据。
为了加快信息技术的集成与应用,提高全省各个环保信息化部门之间信息数据共享程度,实现分布式业务数据和跨系统数据的信息共享,提高厅内环境信息系统的运作效率。国内各地提出了“数字环保”工程建设,合力运用系统整体支撑平台、异构整合的数据中心及统一门户,实现各类环境业务的集成,提高环境保护综合决策能力。在“数字环保”系统建设过程中,基于XML的异构数据集成技术是实现“数字环保”系统完整数据库建设的关键。
XML具有可扩展性、结构化和有效性等优点,使其成“数字环保”系统建设过程中异构数据库集成的基础。XML(Extensible Markup Language,可扩展标识语言)是一种结构简单、功能强大且有效的扩展性标识语言。它是一种标准、开放性语言,被用来描述数据并使其结构化,人们可以用它为数据定义或扩展描述术语间的结构化关系。XML使用标记来界定内容,XML中的标记可用来说明所描述的概念。XML技术的诞生是为了利用一个更中立的方式,让用户端自行体验由服务端所提供的信息。因此XML技术的功能特征主要包括可扩展性、内容与形式分离、自我描述性、解析性等特点。
随着环保信息化系统的发展和数据集成技术的进一步发展,已有的异构数据集成技术对于数据源动态感知、动态集成已经无法满足,然而在传统的异构数据集成方法的基础上出现了网格技术和本体技术。新的集成技术的发展不仅推动数据集成方案的发展,更能够推动环保信息化领域对于异构数据集成的研究,使得异构数据向完整性、一致性约束的方向发展,保证了数据集成过程中的安全、可靠传输。特别是在“数字环保”不断向“智慧环保”发展的大趋势下,基于XML的异构数据集成技术更彰显了它独有的魅力,并不断向前发展。
研究现状
数据集成技术是在上世纪七十年代开始研究的,距今已三十几年历史。由起步阶段的多数据库系统到现在的异构数据集成系统,数据集成的广度和深度都在不断的扩大。上世纪八十年代要解决异构数据源的集成问题,往往采用联邦数据库系统技术。联邦数据库数据的实现需要所有参与交互的数据库之间都建立一对一的连接,把所有的异构源都集中到一个单一的系统中。
各个数据库将自己的数据共享出来,形成了“联邦”模式,该数据库系统的特点是:结构简单,查询效率高。但是如果数据源很多,所有的数据库建立一对一的连接就显得十分烦琐,相互间的操作会变的困难,数据库语义异构解决的难度增加,对系统进行维护和扩展的难度增大,如今网络上的数据源越来越多,而动态变化,因此用联邦数据库来实现就显得不适合了。伴随着因特网的出现,数据集成技术在九十年代中期得到了进一步的推广。这个时间出现的数据集成方法主要是两种:数据仓库和虚拟数据库体系结构。数据仓库(Data Warehouse)是一个面向主题的,非易失的,时变的,集成的数据集,支持管理部门的决策过程。数据仓库是研究和解决异构的外部数据源的主要技术,它可以备份各数据库的数据,将各个数据源中的数据移入数据仓库中并对这些数据进行分析和转换,后将数据装载到合成的异构数据库中让终端用户可以利用上层某主题提供的用户接口来进行查询和分析。它作为客户关系管理、决策支持系统和联机分析应用数据源的结构化数据环境。
XML作为一种信息存储和交换的通用格式,可以脱离具体应用来保存在异构环境中的各种数据,方便不同程序、不同平台之间的远程传输、信息通信、格式转换和信息保存。因此将XML运用到异构数据集成技术中,就是利用XML标准的数据交换模式实现异构数据的集成,保证“数字环保”系统数据库的完整性。
XML为异构系统之间的信息交换提供了一种标准的格式,它文档又是格式良好的且满足一定的语义约束规则,因此XML是实现异构系统间信息交换的有效方式。为描述XML 的数据结构和约束,常用的XML 数据模式语言包括有DTD 和XML Schema。在某省“数字环保”系统中,利用XML这种半结构化的、标准性的语言,将数据库建设过程中的非结构化数据按照一定的语义约束规则进行转化集成,实现不同数据库之间异构数据的集成。
异构数据,不仅指不同部门所使用的不同数据库系统之间的异构,如SQL Sever、Acess及oracle等不同数据库产品间存在的差异, 也指不同数据结构之间的异构。异构数据集成技术就是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中, 实现不同系统之间的数据共享和信息交换,进而为环境管理者提供全面、准确的数据共享的方法。
目前几种主流的异构数据集成方法主要包括基于传统的数据仓库的方法、基于中间件的异构数据集成方法、基于联邦数据库系统的数据集成方法。
参考文献:
1. 杨先娣,彭智勇,刘君强等.信息集成研究综述.,计算机科学,2006, 33(7),P55-80
2. 张春阳,周继恩,刘贵权等.基于数据仓库的决策支持系统的构建[J].计算机工程.2002,28(4),249-251
3. R.Abed,J. Albert.An overview of Pegasus[J],Proc. of RIDE-INS'93.PP.273-277
4. 张定会,沈国华 . 基于星型模式的 OLAP 工具的研究和设计 [J]. 计算机工程与设
5. 计,2002,23(11),31-35
6. Helen Hasan,Peter Hyland.Using OLAP and multidimensional data for decision making[J].IT
7. Professional,2001,3(5),44-50
8. 余永红.基于 XML 中间件实现异构数据源集成研究[J].湖南理工学院学报, 2006(9):16-19
9. Richard Schantz and Doug Schmidt. Middleware for Distributed Systems-Evolving theCommon Structure for Network-centric Applications. Encyclopedia of Software Engineering[M]. Wiley-Interscience New York, NY, USA. December 2001,801-813.
10. 陈跃国, 王京春,《数据集成综述》,计算机科学, 2004,31(5 ):4耿国华, 周明全, 张景, 李军怀.《基于XML 的企业异构数据集成方法研究》, 计算机工程, 202,63 -64.
11. 丁勇、赵祖应,《基于中间件的异构数据集成方法》,江西科学报(2012),第30卷,第1期
12. 方瑛,《XML技术在信息共享领域的应用研究》,数字技术与应用报(2012)
13. 赵艳、李钧,《异构数据源分布式事务处理研究》,《计算机工程》 2009年04期
1、总体思路、研究目标、研究内容和拟解决的关键问题(分段论证,字数不限,可加页)
总体思路
首先把一个由“数字环保”系统用户界面传来的服务请求根据WSDL规则生成一个可查询的XML文件,这个XML文件可以用来描述该服务请求的一个消息集合以及这些消息如何交换。服务应用层通过可查询的XML文件为用户层提供服务,实现数据源层和用户层的连接,它通常是用户无法感知到的,但是又是实现异构数据集成的关键所在。用户身份认证是系统安全的第一道大门,是各种安全措施可以发挥作用的前提。最常见的身份验证形式就是登录密码,数字环保系统就是通过统一的用户名和密码实现用户的身份认证。用户使用权限是根据不同用户的身份、级别设置不同的权限,保障数据的安全性。用户使用统计是系统可以对登录系统的每个用户的操作进行记录,并能根据一定的条件进行查询统计。
研究目标
主要分析XML技术和异构数据集成技术的特点和实现方式,探讨异构数据集成的方法和设计方式与数字环保的结合,研究基于XML的异构数据集成技术在数字环保建设中的应用。针对其中异构数据的集成需求,提出了完整的设计方案并进行了实现,最后通过功能和性能测试,验证了这种方法的可行性和广泛适用性。
研究内容
1、数据集成与管理层
(1)数据抽取:通过调用数据接口实现从数据源中抽取XML模式的数据信息,然后利用人工或相关的智能算法加以分析,得到异构数据的抽取方法。数据抽取的方式主要包括全量抽取和增量抽取。全量抽取类似于数据迁移或数据复制,将数据源中的表或视图的数据原封不动的从数据库中抽取出来,并转换成自己的ETL工具可以识别的格式。增量抽取是抽取的表中新增、修改、删除的数据。
(2)数据转换:将数据从一种表示形式变为另一种表现形式的过程。在系统中通过设计关联映射表的方法将各个异构的数据源转化成标准的XML描述文件,以此来解数据格式的异构和语义的差异。
(3)数据装载:有选择地将经过去冗余的数据装载到数据仓库中。将解决语义异构的XML数据装载到一个集中的数据库中就得到了标准 XML 描述文件数据仓库。数据装载的方式包括基本装载、追加装载、破坏性合并、建设性合并等方式。通过数据装载的异构数据集成,数据库管理能够提供强大的数据更新、错误报告、系统日志、数据备份与恢复等功能。
2、异构数据源层
“数字环保”系统架构中的异构数据源层包含“数字环保”系统常见的异构数据源以及其它数据源。该层处于体系的最底层,是由分布在环境保护厅不同业务系统的数据库的异构数据组成。
3、服务应用层
服务应用层在异构数据集成体系中起着联系用户层和数据层的作用。系统首先把一个由“数字环保”系统用户界面传来的服务请求根据WSDL规则生成一个可查询的XML文件,这个XML文件可以用来描述该服务请求的一个消息集合以及这些消息如何交换。
4、用户层
基于XML的异构数据集成技术构建的 “数字环保”系统所连接的是多个、分布的、具有不同使用条件和标准的数据源数据库和数据资源群,它服务的对象也是具有不同权限的多个信息用户群。为了有效的管理用户对数据信息资源的使用,促进用户对集成后数据信息的高效使用,在“数字环保”用户层建立了科学的、高技术支持的用户管理机制,用来保护数据资源提供者和用户的有效权限。这种配置在用户层的管理机制的核心构成主要包括:用户身份认证、用户使用授权和用户使用统计三个方面。
用户身份认证是系统安全的第一道大门,是各种安全措施可以发挥作用的前提。最常见的身份验证形式就是登录密码,本课题数字环保系统就是通过统一的用户名和密码实现用户的身份认证。
用户使用权限是根据不同用户的身份、级别设置不同的权限,保障数据的安全性。
用户使用统计是系统可以对登录系统的每个用户的操作进行记录,并能根据一定的条件进行查询统计。
拟解决的关键问题
要实现异构数据的集成首要需要解决以下几个难点:
1.异构性:数据模式不同造成的数据异构,数据库管理系统不同造成的数据异构,数据表示的语义上存在数据异构;
2.透明性:透明性主要包括语义、平台、系统和数据源等的透明性,透明性要求的高低取决于数据源异构程度的大小;
3.自制性:每个局部数据可以确定能否供给和供给多少它的功用和资源服务给于另外的成员系统,而每个局部数据库都有对本身全部的操控能力。
要克服上述的三个难点,必需利用中间件技术来实现异构数据集成的方法。中间件处于操作系统和应用程序之间,它将底层操作系统的复杂性屏蔽了,使开发环境变的简单和统一,不必在不同的系统软件上移植程序,这样减少了技术负担,就可将注意力集中在自己的业务上。
2、拟采取的研究方法、技术路线、实验方案及可行性分析(字数不限,可加页):
研究方法
1、基于数据仓库的方法
数据仓库(Data warehouse )是最常见的数据复制集成方法, 基于传统数据仓库的异构数据集成方法通过建立一个数据存储仓库,将异构数据库系统中的数据信息复制、提取出来,并通过分析、转化和装载等方式,把分散的、异构的数据转化成集成后的同构数据,向用户提供集中统一的检索查询服务。在“数字环保”系统数据库建设过程中,利用数据仓库的数据集成方法,实现不同系统、不同平台之间的异构数据的集成处理,进而实现面向分析型的数据处理和决策支持。
2、基于中间件的异构数据集成方法
中间件是一种具有标准协议与接口的通用软件层,位于异构数据源层和应用层之间。它可以分布式的应用不同的技术之间的共享资源,为应用提供统一的编程模型、处理异构、分布问题,采用基于中间件数据集成技术可以将多个异构数据源封装在中间件中,达到异构环境中的数据的集成和应用服务的分布式管理的目的。
3、基于联邦数据库系统的数据集成方法
联邦数据库主要面向多个数据库的集成。基本原理是建立各个数据源之间的数据转换的映射规则。
基于联邦数据库系统的数据集成方法主要是实现不同数据访问,并将不同数据库的数据模式分别添加访问接口,实现各个数据库之间共享的接口和数据。
技术路线
逻辑结构图
系统分为多层结构:数据层、服务层、表示层。当然还需包含操作系统在内的软硬件支持。
数据层:即提供数据服务层,其中可访问的数据包含空间信息数据,如基础地理、遥感影像、地下管线、排污控制图等;业务数据,如环境监测设备及车辆数据、监测业务数据、污染源数据、土壤环境及生态环境监测数据。
服务层:(业务层)指的是系统提供的后台服务。主要由一些组件来实现,如GIS 功能组件、环保专业组件、一般通用组件等,它是提供功能服务的层;
表示层:是与用户交互的界面,负责从用户方接收命令,请求,数据,传递给业务层处理,然后将结果呈现出来,实现用户—— 表示层——业务层的数据交互,根据客户端的不同我们大体将应用程序分为B/S(Browser Server )浏览器结构,C/S(Client- Server)桌面客户端结构。
实验方案
方案内容图
开放性:由于WebGIS本身是一个开放的地理信息系统,本解决方案具有良好的延伸性、可扩展性和移植性。
分布性:Internet 的一个特点就是它可以访问分布式数据库和执行分布式处理,本方案设计正是应用行业分布性数据、WebGIS 开发性特征、Internet分布式处理技术,把环保行业的数据根据不同需求分别部署在不同的网络计算机上,从而实现用户的本地操作,远程控制。
动态性:借助于网络实时性、同步性的特征,本方案设计可以动态的实时的更新数据,从而保证数据的现势性和实时性,使得各级部门无论在何时、何地都能够了解到最新的数据。
适应不同用户需求:对于不同用户或不同业务需求系统采用B/S 或C/S 提供用户访问。
可行性分析
数字环保解决方案是集成环保应用软件与环境监测设备、网络软硬件系统等形成的一套高效数字环保系统。本课题系统与环保局管理工作紧密结合,是以国家相关的法律、法令及国家环保行业规定为基础,充分考虑3S(GIS/GPS/RS) 在管理环保空间信息资源优势,将环境监测和监察、环保12369、环保调度指挥、排污收费、环境预测及办公自动化系统有机地结合在一起。提供对环境质量的动态监测、预警,环境状况的查询和统计,以及对环境质量模拟分析和环境变化趋势分析的综合管理、污染控制和环境决策指挥的数字信息系统。
本课题在分析异构数据集成的技术基础之上,推出数据库中间件技术来完善异构数据库之间的相互集成。此中间件利用可扩展标记语言来储存metadata的属性标识,其中包含了 全局表格映射出来的全局表格、局部表格、与局部表格有关联性的Web服务的信息等。服务分解模块接收由应用程序发送的请求,并对metadata的请求进行分析,后分化为不同的服务请求发送给引用。再由服务引用模块从Web服务的服务中心找到服务提供者的信息,再把信息打包,打包后的信息发送给相应的Web服务包装器,这样就可完成对各异构数 据库的分项查询,然后将实施后的结果作为一个简单对象访问协议(SOAP)返回到中间 件的服务模块。每个服务到SOAP的服务模块,转化为一个本地文件,以供合成模块。多个XML文件根据合并模块中元数据的信息进行合并,并发送到用户的界面。利用XML技术和常用的分布式对象中间件技术,将WebServices和XML技术在中间件中的优势结合起来,将异构数据库集成中间件根据通用的数据库中间件的思想来设计和实现,并给出环保数字化建设过程中应用这一方法的案例,针对其中异构数据的集成需求,提出了完整的设计方案并进行了实现,最后通过功能和性能测试,验证了这种方法的可行性和广泛适用性。
3、本项目的创新之处(论证须充分,字数不限,可加页)
采用信息技术促进环境管理模式创新的需要随着经济的日益发展,不仅企业数量日益增多,而且企业的分布相对分散,更严重的是企业污染物排放情况复杂、变化快。环保部门目前的监管人力严重不足、监管手段比较滞后,存在监控效率不高、监管水平不足等问题。应用信息技术,构建数字环保系统促进管理创新已成为迫切需要。
周生贤部长在第一次全国环境信息化工作会议上提出“数字环保”的建设需要确保科学性、前瞻性和可行性,使信息化建设有序推进;同时“物联网”作为目前国内电子信息领域最受关注的热点领域,各地政府已经把物联网作为我国新的经济增长点和转型升级的助推器,因此面对十一五向十二五的重大转变,需要考虑3S、物联网等新兴技术,通过数字环保传促进管理创新。课题涉及到创新点有几点:
1. 本课题利用XML技术和常用的分布式对象中间件技术,将WebServices和XML技术在中间件中的优势结合起来,将异构数据库集成中间件根据通用的数据库中间件的思想来设计和实现,并给出环保数字化建设过程中应用这一方法的案例,针对其中异构数据的集成需求,提出了完整的设计方案并进行了实现,最后通过功能和性能测试,验证了这种方法的可行性和广泛适用性。
2. 本课题中数据集成与管理层主要实现对异构数据源的抽取、转化和装载,并在这个过程中实现数据的去冗余、消除语义异构和冲突。数据管理可以对集成后的数据仓库进行数据的维护和更新管理。“数字环保”系统架构中的异构数据源层包含“数字环保”系统常见的异构数据源以及其它数据源。该层处于体系的最底层,是由分布在XXXX省环境保护厅不同业务系统的数据库的异构数据组成。服务应用层在异构数据集成体系中起着联系用户层和数据层的作用。
3. 基于XML的异构数据集成技术构建的XXXX省“数字环保”系统所连接的是多个、分布的、具有不同使用条件和标准的数据源数据库和数据资源群,它服务的对象也是具有不同权限的多个信息用户群。为了有效的管理用户对数据信息资源的, 使用,促进用户对集成后数据信息的高效使用,在“数字环保”用户层建立了科学的、高技术支持的用户管理机制,用来保护数据资源提供者和用户的有效权限。
年度研究计划及预期进展
年 月 日
立项申报,研究计划制定,人员培训,小组讨论,设备资源调度
年 月 日
需求分析:
建设核心业务管理平台
建设环境数据中心
建设“图上数字环保”
主要任务:
数据集成与管理层
年 月 日
主要任务:
异构数据源层
将集成的数据源所在的数据库在集成系统中注册,对数据库服务器设置连接集成系统的接口和相应的主机标示名称和密码。
在相应的数据库系统内选择需要被集成的数据源,并进行相应的预处理。
对已经选择的数据源进行规范化格式的定义,并保证格式符合 XML文档与异构数据源映射关系表的规范并保障在其范围内,并对于不符合关系表的数据源进行格式转换或者剔除。
年 月 日
服务应用层
通过可查询的XML文件为用户层提供服务,实现数据源层和用户层的连接
用户层
用户身份认证、用户使用授权用户使用统计
数字环保系统设计:
企业前端层和在线监测层
中心管理层
环保信息发布层
环保远程管理层
年 月 日
研究总结,产品设计,测试,发表论文,结题,成果推广
成果推广内容包括:
IBM Power 6 550 服务器
领先的POWER6性能
卓越的扩展性和大容量
应用可用性
灵活选择操作环境
提高利用率和能效
全面整合,简化系统
预期研究成果
本课题通过用户层的管理,实现异构数据的集成应用,并为环境管理者提供科学决策的依据。给出环保数字化建设过程中应用这一方法的案例,针对其中异构数据的集成需求,提出了完整的设计方案并进行了实现,最后通过功能和性能测试,验证了这种方法的可行性和广泛适用性。
与本项目有关的研究工作积累和已取得的研究工作成绩
这部分自行准备
已具备的实验条件,尚缺少的实验条件和拟解决的途径:
数字环保系统总体架构设计
企业前端层和在线监测层
本次方案计划将由政府部门带头建设,带动一批企业部署环境监控系统,使得数字环保系统能更好更全面的采集XXX市XX区的环境相关数据,对的环境污染做出更快更及时的响应。
计划部署的监控系统如下:
序号 |
项目 |
计划数量 |
1 |
水环境自动监测站(政府投资) |
1套 |
2 |
空气自动检测站(政府投资) |
3套 |
3 |
烟尘监控系统(政府投资) |
3套 |
4 |
噪音监测监控系统(政府投资) |
4套 |
5 |
道路尾气监测(政府投资) |
1套 |
6 |
辐射源监测监控系统(政府投资) |
2套 |
7 |
大气监测监控站(宁波港集团公司) |
1套 |
8 |
主要废弃设施工艺参数监控系统 |
25家 |
9 |
厂界臭气在线监测(敏感企业) |
6个点位 |
10 |
厂界特殊因子在线监测系统(台塑台化) |
2个点位 |
11 |
机动车尾气监测管理系统 |
1个点位 |
12 |
主要污染企业建设进水、废水平衡监测监控系统 |
30家 |
13 |
90%水污染总量企业安装在线监测系统 |
50个点位 |
14 |
80%气污染总量企业安装在线监测系统 |
20个点位 |
15 |
主要污染治理设施安装在线监测系统 |
30个点位 |
16 |
辐射源跟踪管理系统(现场监测部分) |
15个点位 |
17 |
碳排放跟踪管理系统(现场监测部分) |
20家 |
18 |
排污总量跟踪管理系统(现场监测部分) |
30家 |
19 |
工艺尾气回收利用效率、储罐呼吸和无组织废气收集和处置率提高 |
20家 |
20 |
规范建设废气治理设施。行业包括喷漆、石化、印刷、电子、加油站、油库、油罐车油气回收等 |
100家 |
由监测仪器采集到的数据通过终端子系统传输到Internet、PSTM、GSM、GPRS等网络和通讯系统,再由这些系统传输到通讯中心服务器。
中心管理层
中心管理层是整个数字环保系统的核心,它主要完成以下几方面的工作:
1、 把从在线监控层采集到的数据进行存储和各种应用工作;
2、 管理环保局内、外网办公系统;
3、 通过环保专网实现与上、下级网络间的数据共享;
4、 将经过处理的数据传送到环保信息发布层。
为了满足系统在技术上具有的业务变化的适应性、高度的安全性、大容量数据存储处理等特点,因而在本次方案中,我公司建议利用中间件技术把系统分为数据资源层、业务逻辑层和表示逻辑层。
数据资源层
数据类型
根据目前对环保局业务情况的初步了解和我们以前参与建设的经验,数字环保系统所涉及的数据包括:
非空间数据:
n 污染源数据:环境统计数据、排污申报数据、监测数据、一厂一档数据、自动监控数据、污染源普查数据等;
n 环境管理数据:固体废物数据、核与辐射源数据、总量控制数据、总量监测数据、建设项目审批数据、环保信访数据、生态环境数据等;
n 环境质量数据:环境监测数据、生态监测数据、生态环境数据、环境质量与污染源专题数据等;
n 应急监测数据:水环境应急监测数据、大气环境应急监测数据、危险品以及其他数据、化学原料数据等。
GIS数据:
n 基础空间数据:行政区划、水系、航道、公路网、铁路网、居民区、绿地、地名、标注环境遥感信息、DEM地形图等;
n 环境专题数据:污染源点位信息、水污染源排污口空间信息、大气污染源排污口空间信息、污染源在线监控、环境自动监测点位(水、气、声)空间信息、放射源、危险源监控点空间信息、高空视频监控点空间信息、环境功能区分布信息、烟尘控制区、噪声控制区等;
n 其他专题数据:土地利用、能源分布、自然保护区、城市管网、城市规划、城市绿化分布等。
数据库软件
由于GIS数据库需要在常规的数据库管理系统之上,提供特定的针对空间数据的管理功能,所以建议把两种数据分别保存在两个数据库软件中,由于本次项目涉及的数据量比较大,所以建议采用适用于海量数据的Oracle数据库。
数据存储
由于需要两个数据库用来分别存储非空间数据和GIS数据,因此我公司建议采用以下两种方案来完成数据存储。
方案一:
本次项目中涉及的GIS数据不仅数据量大,而且由于大量的数字环保应用都是基于GIS系统的,所以对GIS数据的查询和调用会相当频繁,对数据库服务器的性能要求较高。因此,我公司建议新采购一台数据库服务器(建议采用IBM P6550)安装Oracle数据库用以管理和存储GIS数据,原系统所用的数据库服务器则在安装Oracle数据库软件后用以管理和存储非空间数据。两台数据库服务器之间互为冗余。
由于新的数字环保系统的业务量和数据量较之以前的环保系统有很大的增长,所以原有的存储阵列无法满足业务需求,我公司建议新采购一台磁盘阵列(IBM N6040,配置20T容量,其中450G的FC盘14块,1T的SATA盘14块,用以分别保存不同应用级别的数据)用以存储两个数据库中的数据,原有存储阵列则作为备份存储,对新采购存储中的数据做卷拷贝,提高系统的可用性。
方案二:
如果用户方原有数据库服务器无法满足非空间数据库的性能要求,则采购两台IBM P6 550,分别安装GIS数据库和非空间数据库,数据统一存放到新采购的存储阵列中,原有数据库服务器和存储阵列则放置到生态文明馆中作为数字环保系统的演示、测试系统。
数据备份
备份方案我公司建议采用以下两种方案中的一种:
方案一:
利用现有的备份系统,仅需要增加新增服务器所需要的license和备份用磁带。
核心数据库服务器通过备份软件实现LAN-Free方式的系统自动备份;同其它应用系统的文件系统备份采用网络备份方式进行备份。
方案二:
如果现有备份系统无法满足备份需求,则采购新的备份服务器、磁带库以及备份软件,搭建新的备份系统用以备份工作。备份服务器可采用IBM X3650M2,磁带库采用IBM TS3100, 备份软件采用SYMANTEC NBU 7.0。备份方式与方案一相同。
业务逻辑层
数字环保系统的建设,主要是为环境管理服务。根据该系统的运行方式特点,系统对环境管理信息进行基于GIS系统进行数据采集、数据集成、数据管理、数据查询、统计分析、决策支持等,为环境部门决策分析者进行环境规划、决策分析提供技术支持。
为完成以上工作,我们需要安装各种不同的应用系统,包括GIS系统、环境综合管理系统、环境监测系统、环境应急指挥系统等。同时,为了完善和建设环保局内网和外网办公系统,我们还需要内部邮件服务器和局域网服务器。
为了安装以上这些应用系统,我公司建议购买2台IBM X3850X5 PC服务器,用虚拟化技术虚拟多台服务器以实现这些应用。
表示逻辑层
本次方案中的表示逻辑层会放置在整个数字环保系统的环保信息发布层。
环保信息发布层
环保数据经过中心管理层的集中处理和应用之后,结合GIS数据,通过TCP/IP传输到客户端上,通过直观的图形方式反应在“图上数字环保”系统中,便于环保中心工作人员在这张图上实现实时监控、信息查询、分析统计、间分析展示等功能。
同时,部分数据还将通过数据发布WEB服务器对外发布到互联网中,便于外网用户查询,数据发布WEB服务器可以使用原有服务器。
环保远程管理层
经过中心管理层处理的数据还将通过PSTM、GSM、GPRS等通讯系统传输到移动办公系统和移动手机上,以实现环保系统的远程管理并有效支持移动执法平台。
预算1
一、 研究经费 14.3万
1. 科研业务费 7.9万
(1)测试计算分析费 0
(2)能源动力费 0.8
(3) 会议费/差旅费 2.4 按8人次,每人次0.3
(4)出版物/文献/信息传播费 3.7 网络通讯费1.5 万,每年0.5 万;论文版面费1.6万,按8 篇;专利申请费0.6万
(5)其它 1.0 资料费,印刷费,邮费等
2. 实验材料费 合计 3万
(1)原材料/试剂/药品购置费 2.0000 消耗材料,包括光盘、打印机等消耗材料
(2)其它 1.0000 硬件维修费
3.仪器设备费 2.2000
(1)购置 2.2000 购置2两台电脑及外设、更新2 台电脑
(2)试制
4.实验室改装费 1.2000 实验室环境建设维护
5.协作费
二.国际合作与交流费 3.3000
1.项目组成员出国合作交流 3.3000 2-3 人次出国合作交流
2.境外专家来华合作交流
三.劳务费 3.3000 研究生劳务费
四.管理费 1.1000 校管理费
合 计 22.0000
预算2
一、研究经费:12.5
1.科研业务费:10
(1)测试、计算、分析费:0.5
(2)能源动力费:0
(3)会议差旅费:5
(4)出版物、文献、信息传播费:2.5
(5)其它:2
2. 实验材料费:0
(1)原材料、试剂、药品购置费:0
(2)其它:0
3. 仪器设备费:2.5
(1)购置:2.5
(2)试剂:0
4. 实验室改装费:0
5. 协作费:0
二 国际合作与交流费:4.5
1. 项目组成员出国合作交流:3
2. 境外专家来华合作交流:1.5
三 劳务费:2
四 管理费:1
合计: 20 (单位: 万)
谢谢广大虫子的建议,我做了一些修改,下面是新的版本,请指教:
(新版本)
一、研究经费:15.85
1.科研业务费:11.8
(1)测试、计算、分析费:2
(2)能源动力费:0
(3)会议差旅费:4
(4)出版物、文献、信息传播费:3.5
(5)其它:2.3
2. 实验材料费:0
(1)原材料、试剂、药品购置费:0
(2)其它:0
3. 仪器设备费:2.5
(1)购置:2.5
(2)试剂:0
4. 实验室改装费:1.55
5. 协作费:0
二 国际合作与交流费:3
1. 项目组成员出国合作交流:2
2. 境外专家来华合作交流:1
三 劳务费:3
四 管理费:1.15
合计: 23 (单位: 万)
预算3
一、研究经费:21.8
1.科研业务费:16.2
(1)测试、计算、分析费:8.1
(2)能源动力费:1
(3)会议差旅费:2.9
(4)出版物、文献、信息传播费:3
(5)其它:1.2
2. 实验材料费:2.4
(1)原材料、试剂、药品购置费:1.8
(2)其它:0.6
3. 仪器设备费:3.2
(1)购置:3.2(服务器)
(2)试剂:0
4. 实验室改装费:0
5. 协作费:0
二 国际合作与交流费:3.3
1. 项目组成员出国合作交流:3.3
2. 境外专家来华合作交流:0
三 劳务费:2.4
四 管理费:1.4
合计: 28.9 (单位: 万)
, P>