【问题标题】:Writing data directly to Google Cloud Storage from Kubernetes pods从 Kubernetes pod 直接将数据写入 Google Cloud Storage
【发布时间】:2018-11-27 06:17:16
【问题描述】:

由于成本高昂,我们正在考虑 PubSub 的替代方案。对于我们的一些低价值和大容量数据,PubSub 可能会变得非常昂贵。

使用 PubSub 的计划:

  • 在 Kubernetes pod 中运行服务
  • 服务将数据推送到 PubSub
  • 我们添加了一个 PubSub 订阅者,它从 PubSub 读取数据并将其写入 GCS

数据的价值非常低。因此,即使我们丢失了其中的一小部分(由于 pod 重新启动等),这也不应该成为问题。

是否可以将数据直接写入 GCS,或者是否有其他更便宜的替代方案?

编辑:澄清一下,我们不需要实时写入数据。我们可以每隔几分钟左右分批编写。

【问题讨论】:

  • 必须是桶吗?不能是永久磁盘吗?我认为对于存储桶,您需要使用 gcefuse,它一直处于测试阶段。
  • @suren 恐怕它必须是一个桶。也许我们可以写入本地文件,然后每隔几分钟将其推送到存储桶中?
  • 一个桶是可行的。根据我的经验, gcefuse 会引起一些麻烦。我只是想看看是否可以选择替代方案。但如果不是……
  • @suren gcefuse 会导致什么问题?有哪些替代方案?我想我们可以只在本地写入文件,然后每 1 分钟将其推送到 GCS 一个
  • 我看到了身份验证问题和安装问题。我不记得它到底是什么。但这个产品没有取得进展,大约 2 年后仍处于测试阶段,这让我很担心。

标签: google-cloud-storage google-cloud-pubsub google-kubernetes-engine


【解决方案1】:

您可以通过使用 gcefuse 挂载数据直接将数据写入存储桶。您可以按照here 的说明了解如何在 GKE 中使用 gcefuse。

【讨论】:

  • gcefuse 现在是名称gcsfuse。
猜你喜欢
  • 2018-01-28
  • 2019-02-14
  • 1970-01-01
  • 2018-11-17
  • 2018-11-18
  • 1970-01-01
  • 2014-02-21
  • 1970-01-01
  • 2020-05-05
相关资源
最近更新 更多