《认知计算与深度学习》_基于物联网云平台的智能应用_2.1.3 支持大数据存储和处理引擎的云平台

【摘要】 本书摘自《认知计算与深度学习》一书中第2章，第1节，为陈敏、黄铠所著。

2.1.3 支持大数据存储和处理引擎的云平台

Ian Foster将云计算定义为：“由规模效应驱动的大型分布式计算模式，通过互联网向外 部客户依需求提供抽象、虚拟、动态、可管理的计算能力、储存空间、平台和服务。”云计算提供了一种按需计算模式。图2-4展示了云场景与主要的云服务提供商。互联网云提供四种部署模式：私有云、公共云、社区云和混合云。这些模式具有不同级 别的安全隐患。不同的SLA 都认为保障安全性是所有云服务提供商、云资源消费者和第三 方云计算软件供应商共同的责任。许多IT 专家、行业领袖和计算机科学的研究者已经提出了多种云计算的优势。

云计算动态地配置硬件、软件和数据集并按需采用弹性资源的虚拟化平台。我们的想法 是把桌面计算转移至面向服务的平台，该平台使用服务器集群和数据中心的大型数据库。云计算充分利用其低成本和简易性的特点使用户和提供商受益。机器虚拟化已经采用了这种低成本高效益的方式。云计算倾向于同时满足多用户应用程序的运行。必须设计出值得信赖且可靠的云生态系统。

大数据存储要求。 2015年，以各种形式存储在地球上的总数据超过300EB, 年增长率 为28%。然而，所有资源中可能发送的总数据约是每年1900EB(http://www.martinhilbert. net/WorldInfoCapacity.html)。 在过去，大多数信息都以模拟格式表示。2002年，数码存储 设备开始流行，并迅速取代了大多数模拟设备。表2-3显示了2007年只有6%(19EB) 的模 拟设备和94%(280EB) 的数字设备。模拟数据主要存储在音频/视频磁带(94%)中。数 字信息在许多不同类型的存储设备中传播，大多数(44.5%)存储在PC/ 服务器硬盘中，包 括大型数据中心。接着是DVD 和蓝光设备(22.8%)。显然，辅助存储设备在存储谱中仍然占主导地位。

2.1.4 支持大数据分析的云资源

云平台正朝着大数据应用的方向发展。云计算、物联网传感、数据库和可视化技术是大 数据分析必不可少的技术。这些技术在认知服务、商业智能、机器学习、人脸识别、自然语 言处理等领域中起着重要的作用。多维数据矩阵被称为张量，它可以使用TensorFlow 库处 理。其他大数据管理的关键技术还包括数据挖掘、分布式文件系统、移动网络和云平台相关的基础设施。

在美国，由DARPA 研发的拓扑数据分析程序可探索海量数据集中的基本结构。为了使 用大数据分析，大多数用户更喜欢直接附加存储设备的方式，比如固态硬盘和云集群分布式 磁盘。传统的存储区域网络和网络附加存储的速度太慢，无法满足大数据分析的要求。云设计师必须关注系统的性能、基础设施、成本、实时响应查询等问题。

云平台接入延迟的问题也是使用云平台时需要关注的，还有数据集的扩展问题。共享存 储的优点是速度快，但缺乏可扩展性。大数据分析从业者出于可扩展性和低成本的考虑，更 喜欢大型集群的分布式存储。制造业的大数据需要透明的基础设施。预测模型提供了一个对于近零停机时间、可用性和生产率这些问题都有效的解决方法。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们 18664393530@aliyun.com 处理，核实后本网站将在24小时内删除侵权内容。