环保大数据方案

时间:2022-07-06 10:00:03 浏览量:

  环境空间大数据平台

 概要

  生态环境是一套复杂系统,随着社会的快速发展,发展与环境的矛盾愈发凸显,国家自十二五以来,对环境管理的要求空前提升,这一切都对环保部门的工作带来了巨大的挑战。环境管理的基础是对环境现状的掌控,必须辅以强大的信息化工具支撑。而几乎所有的环境信息都带有空间位置属性。因此构建环境空间信息平台来支撑环保信息化业务就成了必然的选择。

 随着国家高速发展,环境问题越发突出也越发复杂,应对往往需要综合处理分析多种环境因素,因此要求环境信息化工作必须具备一体化的集成“水气声渣”等各类环境数据的能力,此外,近年来,以“空气质量预测预报”业务启动为标志,环保行业正在发生从环境监测能力到环境预报能力建设的重大变革,为应对变化带来的更高要求,信息化工作要接入大气、海洋、水文等预报预测数据和行业专业数据已成定局。同时,为支撑各业务处室和直属机关单位的业务应用和系统需要,各类数据必须以标准化的服务方式在环保系统内发布。因此,构建能够集成各类环境数据和大气、海洋的专业和预报数据,并制成环境信息化应用的“环境空间信息集成和应用能力”就成为环境空间信息大数据平台要建设的第一个能力。

 随着高分卫星发射,国内卫星遥感数据源逐步丰富,应用越发纯熟,各环保业务单位对卫星应用的应用需求也呈爆发态势。卫星影像作为重要的区域性数据,已经在环境规划、环境影响评估、环境监察等部门得到了大量应用,结合遥感解译技术和环境监测数据辅助修正,遥感影像也可以成为可信赖的环境监测方式,并且已经被环保部作为新兴的几个重要的环境监测技术手段之一。这种新的手段为传统环境监测带来从点到面,从离散到连续的根本性变化,为精细化环境管理提供了更好的支持。建立环境遥感应用能力,也成为建立环境大数据平台的必要工作之一.

 随着技术尤其是智能手机的发展和人们对信息化的认识加深,大家逐步形成了对信息资源随时随地访问、使用和分发的需求。同时,由于环境问题是综合性问题,要妥善解决往往需要多部门合力,因此协同作业也成为了环保部门信息化建设的需求,因此能够满足业务人员随时随地访问环境空间信息,并协同、分享处理业务的“全场景接入能力”也成为环境空间信息平台的建设要点。

 最后,为满足各业务处室,不同的信息资源使用方式,以及对内专业支撑和对外广泛发布等各种应用的需求,空间大数据平台需要一套弹性、稳定、灵活可扩展的基础设施架构。只有具备基于虚拟化技术的”云

 GIS 资源”支撑能力的环境空间大数据平台才能够完全应对。

 为实现全面支撑环保信息化建设,并满足未来数年的环保业务需求变化,环境空间信息平台需要打造“环境空间信息集成和应用能力”,“环境遥感监测能力”,“云 GIS 支撑能力”和“随时随地全场景接入能力”这四种支撑能力。

 环境空间大数据平台概要架构如下图所示:

  以服务器集群,虚拟化和 GIS 云套件为基础设施支撑平台的稳定运转;将空间环境信息资源分别以基础底图要素、环境专题要素和影像库等分类整合,以各类空间服务形式发布,统一管理,形成各类环境数据资源的集成能力和一体化服务能力;以影像库为数据基础,服务端遥感影像处理技术为核心,打造环境遥感监测能力;以资源门户为核心,打造随时随地访问,并在 PowerPoint,Excel 和移动 App 各类场景下应用环境空间信息资源的业务拓展和协同能力。

 空间数据库建设 GIS 是人们利用计算机制图、计算可视化等技术进行沟通的重要手段。它为我们提供了行之有效的方法,以便从地球表面获取不同类别的信息,并能把这些信息分层组织起来。通过使用地图,GIS 能够帮助机构以及个人进行分析和决策,通过建立模型、渲染和地理分析,人们能够在掌握大量空间地理信息的情况下更有效的作出决策。而空间数据,更是 GIS 的核心和灵魂,在环境生态业务中连接着地图和实际 GIS各种应用,扮演着重要的角色。

 空间数据要能被有效的利用起来,必须对其进行规范化和模型化,因此,必须建立起空间数据库及其专题数据,以满足环境生态各项业务的应用。

 1.1 空间数据库内容 环境空间数据覆盖范围广泛,包括其相关地区的自然、经济、社会等环境要素信息,具有多级、多尺度、多源、多专题、多时态、多分辨率以及多维的特点。环境空间数据分类是根据信息内容的属性或特征,将数据按一定的原则和方法进行区分、归类,并建立一定的分类体系和编码规则。以空间数据分类为基础,通过数据整合,在现有数据资源的基础上进行数据集成,建立标准化、信息完备的空间数据库,为各应用系统提供集成的、统一的、安全的、快捷的空间数据服务。由于环境空间数据的复杂性,对分类、整合后仍不能满足共享要求的,可依照制定的基本原则和方法进行必要的补充和完善 1.1.1

 空间数据分类 1、按数据产品 数字栅格地图(DRG)、数字正射影像图(DOM)、数字高程模型(DEM)和数字线划图(DLG)。

 2、按比例尺 环境生态常用的地理数据比例尺分为 1:25 万和 1:5 万两种,对重点地区采用 1:1 万、1:5000,特殊区域甚至更大比例尺 1:2000、1:1000 和 1:500。

 3、按空间数据格式 矢量、栅格、矢量栅格混合、影像 4、按分幅单元和范围 国家标准地图分幅、行政区划及特定范围 5、按要素内容 1)

 国家基础地理数据主要包括:行政区划、居民地、交通、地貌、海洋、河流、湖泊、瀑布、跌水、泉、漏斗;土地覆盖等 2)环境专题数据主要包括:水环境监测数据、大气监测数据、噪声监测数据、污染源监测数据、河道排污口数据、生态区管理数据及各类环境影像数据产品。

 1.1.2 空间数据库建设 环境空间数据从整体上主要可以分为两大类:一类是空间基础地理数据库,一类是环境专题地理数据库。前者包括:行政区划、居民点、水系、道路等信息;后者包括:水、气、声、固态废弃物等监测数据,土壤、生态保护区等专题信息。

 1.2 空间数据标准 按照环境业务信息化有关标准的制定和数据库资源建设,如信息化标准体系、信息内容分类与编码、公用和专用数据库建设及数据资源整合、信息存储和交换格式、数据质量控制标准等。

 1.3 空间按数模型 空间数据模型是用面向对象的方法来描述现实世界的逻辑组织、对象间限制、联系等的模型,是面向对象技术和 GIS 相结合的产物,具有抽象性、封装性、多态性、继承性等特性。空间数据模型认为人们感知的客观世界是一个由众多类型不同的地理实体组成的整体世界,而不是人为分割的、僵化的对象层,但由于分层能够为 GIS 管理和显示地理对象提供极大的方便,因此在基本分层的基础上,特别提出并强调复合对象集的概念,以此来表达和实现整体 GIS 数据模型的整体思想。空间模型中的每个对象(独立的地理实体) 不仅具有自己独立的属性(含坐标数据),而且具有自己的行为(操作)。

 Geodatabase 支持面向对象的矢量和栅格数据。在该模型中,实体表示为具有属性、行为和关系的对象;支持内建于系统中的各种不同的地理对象类型。这些对象类型包括简单对象、地理要素、网络要素、注记要素以及其他更专业的要素类型。该模型还允许用户定义对象间的关系,并通过规则来维护对象间的参照和拓扑完整性。

 1.3.1 空间数据模型的优势 基于 Geodatabase 的空间数据模型设计可方便地完成多种分析功能,例如要素间关联分析、河流连通性及上下游追溯分析,同时,亦可完成面向对象行为的数据库操作,如寻找子类对象会依父级对象的行为而触发的行为。

 以某河流污染追踪为例,相关污染源、排污口、排污企业等环境监测要素与不再是独立无关联的分散存储,而是与河流建立了对应的关系及规则,由该河流可查询到对应的排污口、取水口、污染源、排污企业等各类关联要素。河流关联到相关要素空间数据模型中对各河段之间建立了连通性规则以及流向关系,可进行上下游之间的流向分析,同时对于河段所关联的各类环境要素也能进行上下游关联。例如监测到某河段发生了污染,不仅可以向上追踪到可能排污的污染源或排污企业,还可以向下溯追踪,检索出其污染的河流和范围,及时关闭对应的取水口等。

 数据模型中的各类要素间也可建立对应的行为规则,子级和父级之间存在依附关系,父级对象的行为会触发子级对象的行为。例如,假设某个河湖排污口落在河湖的边界上,当对河湖要素移位时,对应的排污口也会随之移位。

 鉴于未来构建在环境空间数据模型基础上的各应用系统对数据的时效性要求很高,因此必须建立持续有效的数据实时更新机制,保证该数据的常用常新。同时还有赖于 GIS 数据库的版本管理功能,既满足常用数据的高频次访问效率又能兼顾历史数据按时序回溯等应用需求。要最大限度地发挥数据模型的应用价值和使用的便捷性要求,在模型设计阶段就需要解决空间数据库的时态化管理问题。

 1.3.2 空间数据模型设计 1)要素划分 要素类的划分是空间数据模型设计的基础,环境那个空间数据模型中要素类的划分需要充分考虑环境业务特点,以环境业务数据库对象要素类划分为依据,保证尽可能多的业务对象个体都能与对应的空间数据要素类相匹配。同时,要素类的划分也需考虑要素间规则的设置,例如,排污口要素类与河流、湖泊要素类有逻辑上的压盖关系。

 2)要素类关系建立 结合 Geodatabase 的各类关系规则及环境业务对象的的特点,环境空间库数据模型设计选取的关系规则如下:

 基于属性的关联关系,包括:

 1、依附关联:不同对象之间存在主次依附关系(生命周期一样),如:水质监测站依附于河流,当河流不存在时,监测站也不存在; 2、简单关联:不同对象之间存在关联指向关系,如排污口和河流的关系,由河流可关联查询到对应的排污口; 1.4 空间数据管理和维护 由于空间数据采用优化的 Geodatabase 模型来存储,因此对空间数据库的管理除了依靠基础的关系型数据库底层管理外,主要依靠基于空间对象层面的 ArcGIS Desktop 软件来维护。

 ArcGIS Desktop 是一款成熟的 GIS 桌面软件,提供了数据浏览、查询、编辑,数据模型创建及维护、使用空间处理工具实现自动化工作流等丰富的功能,通过它可以完成对环境空间数据的各种操作。

 1.4.1 空间数据入库 根据环境空间数据的内容,划分如下表空间存储各类型空间数据:空间基础地理数据库、环境专题地理数据库和影像数据库。

 整个空间数据库构建于商业 RDBMS 之上,由 sde 这个超级用户维护空间数据所需的系统表和模型,各空间数据库由相应的表空间和用户组成,其中环境专题地理库按照环境业务的不同分类,又可分别存储到各自的数据集(FeatureDataset)下。通过 ArcGIS 桌面软件,采用相应用户连接到数据库,执行空间数据的导入。

 空间数据入库操作支持多种格式的转换(如 CAD、DLG、MIF/TAB 等),先将它们转换为通用格式 shp文件,然后写入 Geodatabase 进行数据检查,确认无误后导入数据库。整个流程如下:

 数据入库流程

  还可以通过 Spatial SQL 或 XML workspace 直接将文本类数据转入 Geodatabase。

 Geodatabase 与 XML 交换

  1.4.2 数据更新 1、数据编辑 采用 ArcGIS Desktop 进行空间数据形状和属性的编辑,编辑的同时能维护对象之间的拓扑关系或约束规则。

 Boulder.xml导出 导入新GDB

  图形及属性编辑器 2、数据提交 环保空间数据很大程度上来自于下级数据中心提交的更新数据,因此需要实现下级向上级中心的更新同步(省、市、县),采用 SDE 同步复制更新的技术,基于增量更新的方式,而且能进行冲突检测。

 1.4.3 空间数据维护 有了基于 Geodatabase 的空间数据模型,数据维护变得简单而智能。它已经包含了数据拓扑和完整性、关联关系的维护,需要维护的方面主要包括以下几点:

 1)性能维护 对空间数据库进行压缩或碎片整理操作,可以清理冗余的记录,提高数据查询检索的性能。

 对要素集进行分析操作,能够优化要素表,提高图层查询性能。

 2)数据分类整合 根据空间数据库存储图层的数量,可以将各类图层按照业务需要或类型分别添加到要素集下面管理,保证数据库根目录下尽量不超过 1000 个图层,每个要素集下也不超过 1000 个图层。这样既便于浏览使用,也利于性能优化。

  Geodatabase 中的要素分类 3)索引维护

 添加索引 可以对频繁需要查找的数据量较大的字段添加属性索引,默认已经对图层的 OBJECTID 字段添加了索引索引。

 定期对更新较多的空间数据重建空间索引,通过优化的空间格网索引来检索空间数据。空间格网最多支持三级(每一级大小至少是上一级的 3 倍)。比如先检索河流要素位于哪几个格网内,再在这些个网内查询具体河流的形状。

  环境专题空间数据资源建设 2.1 饮用水监测 展示饮用地表水和地下水监测点的地理分布,显示每个监测点的基本信息;在地图上查看最新监测数据或指定日期的检测数据;查询饮用水监测点指定时间段内的历史监测数据,;展示饮用水监测数据各种条件下的统计图。

 2.1.1 饮用水监测点分布图 展示饮用地表水和地下水监测点的地理分布,显示每个监测点的基本信息。

 2.1.2 饮用水监测实时数据 在地图上查看最新监测数据或指定日期的监测数据。

  在地图工作区域点击监测点的符号,弹出监测点的最新监测数据

  查询监测点的某个历史时期,并在地图中分布显示。

  在地图工作区域点击监测点的符号,弹出监测点的选定历史时期的监测数据。

 2.1.3 饮用水历史数据 查询饮用水监测点指定时间段内的历史监测数据 2.1.4 饮用水统计分析 展示饮用水监测数据各种条...

相关热词搜索: 环保 方案 数据