您现在的位置:首页 > 新闻中心 > 热点专题

更多

    热点专题

  • 多源异构数据的整合与应用

  • 更新时间:2017/10/13 | 来源:杜群星(雪城软件) | 打印 打印页面
  •  

     

     

    不知道大家真正了解、关注、意识到“环境污染”这个词是什么时候?我想大部分人也是这几年才开始接触吧。我真正了解“环境污染”是从柴静那个《穹顶之下》的记录片开始的,也是从那之后,我才隐隐感觉到政府在治理环境污染方面的力度是如此之大。

    当新兴技术遇上环境保护

    大数据、物联网、云计算这些新兴技术遇上了环境保护,“智慧环保”便迅速成为企业、政府以及一些公益组织重点关注的对象,雪城软件网格化大气环境监控与决策平台正是大数据、物联网、云计算技术集中应用于大气污染防治工作的成功案例,也是集数据采集、治理、分析为根基,以监控、预测为主线,以提供科学决策为目的专业平台,平台内所有的应用与展现都基于“数据”,为了更好的呈现数据的作用,使平台更智慧、更贴近用户需求,研发工程师从数据层开始进行全新改版,让我们来看看它是如何实现这一切的。

     

     

    数据整合与应用

    环保数据多源异构,这为数据分析和应用来带了难度,为了将多来源、多种类、多类型的环境数据及时、准确、有效、安全的整合到我们的环保大数据中心,特设计了一套针对数据的整合方案。

    该方案中主要针对多来源、多种类、多类型的数据,提供一个多协议解析引擎、数据预处理引擎、数据存储引擎和一个对解析、处理和存储进行配置管理的元数据管理系统。

    在元数据管理系统(MDMS)中针对要采集的数据进行数据描述,协议解析规则,预处理规则,存储规则一体化配置。协议解析引擎(PPE)可以针对元数据管理系统中配置的协议,启动相关协议的监听程序或者拉取、爬取等程序,将数据解析之后存入消息队列中。预处理引擎(DPE)可以从消息队列中取出解析过的数据,然后根据元数据管理系统中相应的处理配置进行预处理,然后再存入消息队列中。存储引擎(DSE)可以从消息队列中取出经过处理的有效数据,然后根据配置的存储规则存储到相应的存储中心。

    通过这个方案我们不仅解决了环保数据种类繁多、来源广泛且协议多样化不统一的问题,也解决了数据杂乱、质量不高和数据架构混乱、存储不一等问题。

    与此同时,通过这个方案我们还实现内部共享、对外开放、融合应用三大目标。内部共享主要是把我们各自的数据进行部门内部以及部门之间的共享以适应各个部门系统的数据需求;对外开放可以把部分高频、公用数据进行对外开放,以达到共享共用,共同探索行业发展趋势的目的;融合应用则是在经历了前两个阶段之后,应用和业务必定有了一部分融合,第三个阶段就是部门内部、部门之间甚至相关行业等的数据融合、应用融合、产业链的融合。

    经过内部共享公用、对外开放和应用融合三个阶段,开发人员不需要针对一个新的数据源进行大量开发,简单的配置即可针对特定的数据进行采集、收发、解析、处理和存储。结合大数据开放共享的趋势,最终网格化大气环境监控与决策支持平台以清晰的智能的方式呈现在我们面前

     

    Tags 本文关键词: