阅读《时空大数据与云平台 理论篇》_走进云的世界_4.1.3 时空大数据处理相关技术

【摘要】 本书摘自《时空大数据与云平台 理论篇》一书中第4章，第1节，作者是吴信才。

4.1.3 时空大数据处理相关技术

时空大数据库的构建及管理，离不开时空大数据处理技术。时空大数据处理关键技 术一般包括时空大数据汇聚技术、时空大数据预处理技术、时空大数据存储及管理技术、 时空大数据挖掘分析技术、时空大数据展现与应用(大数据检索、大数据可视化、大数 据应用、大数据安全)技术等。

1. 时空大数据汇聚技术

时空大数据是通过测量、测绘成果转化、射频识别 (radio frequency identification, RFID) 射频数据汇聚、传感器数据汇聚、社交网络交互及移动互联网获取等方式汇聚的 各种类型的结构化、半结构化(或称为弱结构化)及非结构化的海量数据。

时空大数据汇聚技术主要包括数据传感体系、网络通信体系、传感适配体系、智能 识别体系及软硬件资源接入系统，实现对结构化、半结构化、非结构化的海量数据的智 能化识别、定位、跟踪、接入、传输、信号转换、监控、初步处理和管理等。重点技术 是针对大数据源的智能识别、感知、适配、传输、接入等技术。

同时，大数据汇聚技术需要基础设施的支撑，即V 层的支撑。基础设施可以提供大数 据平台所需的虚拟服务器，结构化、半结构化及非结构化数据的数据库及物联网络资源等 基础支撑环境。重点技术主要是分布式虚拟存储技术和大数据获取、存储、组织、分析和 决策操作的可视化接口技术，以及大数据的网络传输与压缩技术、大数据隐私保护技术等。

2. 时空大数据预处理技术

时空大数据汇聚完成后需要进行预处理，将已接收的数据进行辨析、抽取、清洗等操作，输出格式标准的，可供后续操作的有效数据。

(1)抽取：因获取的数据可能具有多种结构和类型，数据抽取过程可以将这些复杂 的数据转化为单一的或者便于处理的构型，以达到快速分析处理的目的。

(2)清洗：大数据并不全是有价值的，有些数据并不是用户所关心的内容，而另一 些数据则是完全错误的干扰项，因此要对数据通过过滤“去噪”从而提取出有效数据。

3. 时空大数据存储及管理技术

经过预处理的大数据，已经基本符合时空大数据库的要求，可以建立时空大数据库， 用存储器把预处理后的大数据存储起来，并进行管理和调用。

时空大数据存储及管理主要解决大数据的可存储、可表示、可处理、可靠性及有效 传输等几个关键问题。时空大数据存储及管理技术是指对复杂结构化、半结构化和非结 构化大数据的管理与处理技术。主要包括可靠的分布式文件系统 (DFS)、 能效优化的 存储、计算融入存储、大数据的去冗余及高效低成本的大数据存储技术，分布式非关系 型大数据管理与处理技术，异构数据的数据融合技术，数据组织技术，大数据建模技术， 大数据索引技术，大数据移动、备份、复制等技术，大数据可视化技术等。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。