【发布时间】:2018-11-13 14:42:33
【问题描述】:
大数据与云计算有什么关系?
我试图解释一下大数据和云计算之间的关系。
【问题讨论】:
大数据与云计算有什么关系?
我试图解释一下大数据和云计算之间的关系。
【问题讨论】:
大数据和云计算是当今信息技术领域最常用的技术之一。借助这两种技术,商业、教育、医疗保健、研发等都在快速增长,并将提供各种优势,以技巧和技术扩展各自的领域。 在云计算中,我们可以随时随地存储和检索数据。鉴于,大数据是将处理以提取必要信息的大量数据。
当客户需要快速部署和扩展应用程序时,他们可以转向云计算。该应用程序处理高度敏感的数据,并且需要严格的合规性,应该将内容保存在云上。然而,我们可以将大数据用于传统方法,而这里的框架是无效的。大数据不是关系数据库系统的替代品,大数据解决了与大数据集相关的特定问题陈述,并且大多数大数据集不处理小数据。
大数据技术是 Hadoop、MapReduce 和 HDFS。而云计算包括三种类型:公共云、私有云、混合云和社区云。 云计算为企业提供了一种经济高效且灵活的方式来访问我们称为大数据的大量信息。由于大数据和云计算,现在创办一家 IT 公司比以往任何时候都容易。当大数据与云计算的结合首次启动时,它开启了无限可能的道路。通过这种组合,各个领域都发生了许多巨大的变化。它改变了公司的决策过程,并为分析师提供了巨大的优势,他们可以根据具体数据得出结果。
【讨论】:
它们重叠。一个不依赖于另一个。云计算使公司能够随着时间的推移租用基础设施,而不是预先支付计算机费用并随着时间的推移对其进行维护。
一般而言,云供应商允许您出租大量服务器池并构建服务器网络(集群)。
您可以为具有大型存储驱动器的服务器付费并安装 Hadoop FileSystem (HDFS)、Ceph、GlusterFS 等软件。这些软件将构成一个单一的“共享文件系统”。您将越多的服务器组合到这个文件系统中,您可以存储的数据就越多。
现在,这只是存储。希望这些服务器也有一些合理的内存和 CPU 处理量。 YARN(使用 Hadoop)、Apache Mesos、Kubernetes/Docker 等其他技术允许您创建资源池来部署分布在所有这些服务器上的分布式应用程序,并读取存储在所有其他机器中的数据。
不过,以上主要是块存储。另一种更便宜的替代方法是 对象存储,例如 Amazon S3,它是一种 Hadoop 兼容文件系统。还有其他对象存储解决方案,但人们使用它是因为它具有更高的可用性(通过复制),并且可以通过访问密钥和策略更轻松地保护
【讨论】: