阅读《时空大数据与云平台 理论篇》_走进云的世界_5.1 时空大数据库构建

【摘要】 本书摘自《时空大数据与云平台 理论篇》一书中第5章，第1节，作者是吴信才。

第 5 章 云环境下时空大数据平台构建

第4章阐述了时空大数据中心的体系架构，可以看出，建设时空大数据中心的重点 在于时空大数据库的构建及对库中大数据资源的分布式管理技术，本章将介绍时空大数 据库的构建流程和时空大数据的管理、分析挖掘、可视化等关键技术。

5.1 时空大数据库构建

由第4章可知，大数据技术系统的处理流程大致可分为汇聚、存储、处理、可视化、 大数据应用五个阶段，因此，时空大数据库的构建也应该包括时空大数据汇聚、时空大 数据存储、时空大数据处理三个阶段，时空大数据库构建完成后，可以在其上进一步开 展时空大数据挖掘分析、时空大数据可视化、时空大数据应用等。

5.1.1 时空大数据汇聚

时空大数据中心可以管理海量多源异构数据，包括空间数据和其他数据。空间数据 用来表示空间实体的位置、形状、大小及其分布特征诸多方面信息，它可以用来描述来 自现实世界的目标，具有定位、定性、时间和空间关系等特性。其他数据则包括属性数 据、目录数据、文本数据、图像数据、多媒体数据等多种格式的数据。

1. 多源数据汇聚集成

1)大数据汇聚需要解决的问题

大数据汇聚与传统数据采集的核心意义是一致的，传统采集的数据具备一定的结构 性，生成频率具有规律性，处理规则相对简单。但是大数据汇聚要面对体态更庞大的数 据集，需要解决数据的全量接入、数据的融合计算、群集的高效管理这三方面的问题， 才能确保大数据汇聚的成功。

2)大数据汇聚的建设目标

大数据的发展改变了 IT 系统的建设方式，从以数据用于计算的传统方式，向以提 高计算能力服务于数据的方式转变。为顺应这个发展趋势，提出以“数据的全量汇聚为 基础，数据的融合计算为核心”的系统模型来建设大数据汇聚中心，以其高效的数据汇 聚能力与数据计算能力，为企业的运营提供服务与支撑(夏文忠，2015)。

从物理层面看，大数据汇聚中心可以采用异构的组网模式。数据的计算，由廉价的 刀片式服务器或者虚拟主机作为计算节点，以此构建数据计算群集；数据的存储，可由

计算节点的本地磁盘、存储阵列、分布式文件系统(如 HDFS、CFS、GLUSTERFS 等)、

网络附属存储 (network attached storage,NAS) 等组成，以此构成数据存储群集。从系统层面看，大数据汇聚中心在物理层面的数据计算群集和数据存储群集需要统 一管理，从功能上可划分为中枢管理群集和枢纽服务群集。中枢管理群集，起到中枢神 经的作用，管理着群集中所有类型的节点；枢纽服务群集，作为服务的提供者，接受中 枢管理群集的管理，需要与数据、应用交互，提供数据的接入服务、数据的处理服务、 数据的交付服务。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。