阅读《时空大数据与云平台 理论篇》_走进云的世界_4.2.2 时空大数据中心架构

【摘要】 本书摘自《时空大数据与云平台 理论篇》一书中第4章，第2节，作者是吴信才。

4.2.2 时空大数据中心架构

把空间数据融入到大数据生态体系中，就形成了时空大数据生态体系。在时空大数 据生态体系中，为了适应时空数据的特点，需要以时空为主线进行信息空间重建，从时 空的大尺度认知信息模式，从时空的大视野整合利用资源，建设时空大数据中心，更好 地对时空大数据进行管理及利用。

时空大数据中心架构目前主要基于以下3种。

(1)Hadoop 系列：①Hadoop-GIS, 基于MapReduce 的高性能空间数据仓库系统； ②SpatialHadoop,MapReduce 空间数据框架。

(2)Spark 系列：①SpatialSpark,使用Spark的大型空间数据处理流程；②GeoSpark, 用于处理大规模空间数据的集群计算系统；③magellan,Spark 上的地理空间数据分析。

(3)集成技术系列：①CyberGIS,CyberGIS 软件集成为持续的地理空间创新； ② GeoWave, 排序键值数据存储的地理空间索引和分析；③GeoMesa, 扩展地理空间 分析。

通过对现有时空大数据技术体系的研究及分析，笔者在通用时空大数据技术体系的 基础上，依托云GIS 平台，提出了时空大数据中心的技术架构与构建思路，以实现对时 空大数据的分布式存储、分析处理、可视化呈现和应用。时空大数据中心的技术架构基 于 Hadoop 分布式文件系统、 HBase 分布式数据库、 Spark 分布式内存计算框架等相关分 布式技术框架实现。时空大数据中心借鉴时空云平台的层次架构，基于 Hadoop 分布式框架，集成分布 式存储、分布式内存计算等大数据处理技术，实现了多源异构大数据的存储与计算基础 服务等。对应于T-C-V 软件结构，时空大数据中心核心部分分为时空大数据存储层、时 空大数据处理层、时空大数据工具层、时空大数据服务层、时空大数据应用层五个主要 层次，时空大数据中心整体结构如图4-2所示。

1. 时空大数据存储层

时空大数据存储层分为时空大数据集和时空大数据库，时空大数据集支持时空对象 持久化到本地文件系统、共享网络文件、分布式文件系统、分布式 NoSQL 数据库等， 通过将时态对象、文档对象、关联对象等时空数据以对象形式持久化到多源存储系统中。 时空大数据库提供库的基本管理功能。

时空大数据存储层的核心是时态对象数据集、文档对象数据集、关联对象数据集等。 时空大数据集在 Hadoop、HBase、File、Nas、ElasticSearch 等多源分布式系统下的基本 存储管理和高效索引功能的实现。

对于每一种存储源，都有其特性和独有使用场景，如 Hadoop 支持处理大文件，不 支持随机读取，故适合归档时空大数据集的存储；HBase 支持随机读写，只支持 RowKey 索引，故可用在数据修改频繁的场景； ElasticSearch 存储和索引效率很高，但对点数据 支持的最好，其他复杂几何效果较差，主要用于点数据的场景。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。