【发布时间】:2018-11-27 06:17:16
【问题描述】:
由于成本高昂,我们正在考虑 PubSub 的替代方案。对于我们的一些低价值和大容量数据,PubSub 可能会变得非常昂贵。
使用 PubSub 的计划:
- 在 Kubernetes pod 中运行服务
- 服务将数据推送到 PubSub
- 我们添加了一个 PubSub 订阅者,它从 PubSub 读取数据并将其写入 GCS
数据的价值非常低。因此,即使我们丢失了其中的一小部分(由于 pod 重新启动等),这也不应该成为问题。
是否可以将数据直接写入 GCS,或者是否有其他更便宜的替代方案?
编辑:澄清一下,我们不需要实时写入数据。我们可以每隔几分钟左右分批编写。
【问题讨论】:
-
必须是桶吗?不能是永久磁盘吗?我认为对于存储桶,您需要使用 gcefuse,它一直处于测试阶段。
-
@suren 恐怕它必须是一个桶。也许我们可以写入本地文件,然后每隔几分钟将其推送到存储桶中?
-
一个桶是可行的。根据我的经验, gcefuse 会引起一些麻烦。我只是想看看是否可以选择替代方案。但如果不是……
-
@suren gcefuse 会导致什么问题?有哪些替代方案?我想我们可以只在本地写入文件,然后每 1 分钟将其推送到 GCS 一个
-
我看到了身份验证问题和安装问题。我不记得它到底是什么。但这个产品没有取得进展,大约 2 年后仍处于测试阶段,这让我很担心。
标签: google-cloud-storage google-cloud-pubsub google-kubernetes-engine