【问题标题】:What is the best equivalent of a file server on google compute engine谷歌计算引擎上文件服务器的最佳等价物是什么
【发布时间】:2013-06-13 16:34:51
【问题描述】:

我们正在尝试从数据中心迁移到 Google Compute Engine。 虽然我们了解如何设置实例和部署工作负载,但我们不确定什么是存储数据的最佳等价物。 我们每天接收一次数据,并且在每台服务器上整天都在对过去 1-2 年收到的数据进行研究。 有什么指点吗?

【问题讨论】:

  • 您能否再澄清一下您的问题?什么样的数据,你是如何使用它的?您可以运行您熟悉的标准服务,例如网络服务器、sftp 等,或者您可以查看特定的 Google 技术来帮助增加您的处理需求。
  • 我们通常接收二进制数据、固定结构。我们精通处理它。我们一直在数据中心的多个计算服务器共享文件服务器的传统设置下对其进行操作。我们正在尝试将此流程移至云端。那部分对我们来说是新的。

标签: cloud google-cloud-storage google-compute-engine gcsfuse


【解决方案1】:

只是为了附和 E. Anderson 的回答,如果您已经在使用 NFS 并考虑使用 s3fuse,您可能还想看看 gcsfuse,它做了类似的工作,但是(我m 告诉)在 GCS 上具有更好的性能(有关各种额外技术细节,请参阅 gcsfuse-docs)。

【讨论】:

    【解决方案2】:

    听起来您正在寻找像 NFS 这样的共享文件服务器。您可以在单个 GCE 实例上运行 NFS 服务器,以将数据分发到各种计算节点。 Linux 文档项目has a reasonable howto

    另一种选择是使用像Google Cloud Storage 这样的对象存储,它允许您以各种名称存储二进制数据块(有点像云文件系统)。如果您的软件需要使用标准文件系统命令来访问数据,可以使用像 s3fuse 这样的 FUSE 文件系统将 Google Storage 存储桶导出为每台机器上的一组文件和目录。

    如何在两个选项之间进行选择:

    1. 如果您已经在使用 NFS,您可能会更愿意继续使用现场的相同配置。如果没有,我建议试试 s3fuse 和 GCS。
    2. 如果您运行自己的 NFS 服务器,您需要负责可能需要执行的任何备份等工作。 Google Cloud Storage 在多个站点之间复制,因此即使在一个站点进行维护,您仍然可以读取和写入您的数据。
    3. 像 s3fuse 这样的 FUSE 文件系统倾向于支持读写操作,但可能不支持复杂的锁定行为或 NFS 支持的类似行为。
    4. 您可能需要为您对存储在 GCS 中的数据执行的读取和写入次数付费。 (我不记得了;我想network traffic to/from GCS from GCE is free。)如果您选择运行自己的 NFS 服务器,则必须为正在运行的实例和永久磁盘以及对磁盘的读写操作付费.

    您可能还对另一个 Stack Overflow 问题感兴趣,它涵盖了一些相同的领域: Storage options for diskless servers

    【讨论】:

      猜你喜欢
      • 2016-08-14
      • 2015-08-05
      • 1970-01-01
      • 2014-08-21
      • 2017-02-09
      • 1970-01-01
      • 1970-01-01
      • 2015-01-07
      • 1970-01-01
      相关资源
      最近更新 更多