BigQuery BQ.insert_rows_json 和 BQ.load_from_json 的区别？

Question

我想将数据流式传输到 BigQuery 并且我正在考虑使用 PubSub + Cloud Functions，因为不需要转换（至少目前是这样），并且使用 Cloud Data Flow 感觉就像插入行有点过头了到一张桌子。我说的对吗？

数据使用 Python 脚本从 GCP 虚拟机流式传输到 PubSub，格式如下：

{'SEGMENT':'datetime':'2020-12-05 11:25:05.64684','values':(2568.025,2567.03)}

BigQuery 架构是 datetime:timestamp, value_A: float, value_B: float。

我的问题是：

a) 我是否需要将其作为 json/dictionary 并将所有值作为字符串推送到 BigQuery 中，还是必须使用表的数据类型？

b) 使用BQ.insert_rows_json 和BQ.load_table_from_json 有什么区别，我应该使用哪一个来完成这项任务？

---

编辑：

我想要获取的实际上是一些资产的市场数据。说出大约 28 种乐器并捕捉它们的所有滴答声。平均每天，每个工具有约 60.k 次滴答，因此我们谈论的是每月约 3360 万次调用。 （目前）需要将它们插入表中以进行进一步分析。我目前不确定是否应该执行真正的流式传输或每批加载。由于项目还在做分析，我觉得不需要数据流，但应该使用 PubSub，因为它允许在时机成熟时更容易地扩展到数据流。这是我第一次实现流式传输管道，我正在使用我通过课程和阅读学到的所有知识。如果我有错误的方法，请纠正我:)。

我绝对想做的是，例如，当一个刻度和第 n 个刻度之间的价格差为 10 时，执行另一个插入到另一个表中。为此，我应该使用数据流还是云函数方法仍然有效吗？因为这就像一个触发条件。基本上，触发器是这样的：

if price difference >= 10:
     process all these ticks
     insert the results in this table

但我不确定如何实现此触发器。

Answer 1

除了 Marton (Pentium10) 的出色回答

a) 您可以在 BigQuery 中流式传输 JSON，即 VALID json。你的例子不是。关于类型，有一个根据您的模式的自动强制/转换。你可以看到这个here

b) 加载作业加载 GCS 中的文件或您放入请求中的内容。批处理是异步的，可能需要几秒钟或几分钟。此外，您仅限于1500 load per days and per table -> 每分钟 1 个作品（每天 1440 分钟）。加载作业有几个有趣的方面。

1. 首先，它是免费的！
2. 您的数据会立即加载到正确的分区中，并且可以立即在分区中请求
3. 如果加载失败，则不插入数据。因此，最简单的方法是重放文件而不用加倍值。

相反，流式作业将数据实时插入 BigQuery。当您有实时限制时（尤其是对于可视化、异常检测......），这很有趣。但也有不好的一面

1. 您被限制为 500k rows per seconds (in EU and US), 100k rows in other regions，并且每秒最大 1Gb
2. 数据不是立即在分区中，而是在buffer name UNPARTITIONED for a while or up to have this buffer full. 中。因此，您在构建和测试实时应用程序时必须考虑到这种特殊性。
3. 是not free。最便宜的区域是每 Gb 0.05 美元。

---

既然您已经意识到了这一点，请问问自己关于您的用例。

• 如果您需要实时（延迟少于 2 分钟），毫无疑问，流式传输非常适合您。
• 如果您每月只有几 Gb，流式传输也是最简单的解决方案，只需几美元
• 如果您有大量数据（每秒超过 1Gb），BigQuery 不是很好的服务，请考虑 BigTable（you can request with BigQuery as a federated table）
• 如果您的数据量很大（每分钟 1 或 2Gb），并且您的用例需要每分钟保持数据新鲜度+，您可以考虑特殊设计

1. 创建 PubSub 拉取订阅
2. 创建一个 HTTP 触发的 Cloud Function（或 Cloud Run 服务），它会拉取订阅 1 分钟，然后将拉取的内容作为加载作业提交给 BigQuery（不需要文件，您可以将内存中的内容直接发布到 BigQuery） .然后优雅地存在
3. 创建一个每分钟触发一次服务的 Cloud Scheduler。

---

编辑 1：

成本不应驱动您的用例。

如果目前仅用于分析，您只需想象每天触发一次您的工作以获取完整订阅。使用您的指标：60k 指标 * 28 个仪器 * 100 字节（24 + 内存丢失），您只有 168Mb。您可以将其存储在 Cloud Functions 或 Cloud Run 内存中并执行加载作业。

流媒体对于实时来说真的很重要！

流模式下的数据流将花费您每月至少 20 美元（1 个 n1-standard1 类型的小型工作人员。使用 Cloud Functions 在 BigQuery 中插入超过 1.5Gb 的流式插入。

最终，关于流式或批量插入的智能触发器，这实际上是不可能的，如果您更改逻辑，则必须重新设计数据摄取。但首先，只有当你的用例需要这个时！！

Answer 2

回答您的问题：

a) 您需要使用库的接受格式（通常是集合或格式化为表定义的 JSON 文档）推送到 BigQuery。

b) 要将数据添加到 BigQuery，您可以流式传输数据或加载文件。

对于您的示例，您需要流式传输数据，因此请使用“流式传输 api”方法 insert_rows* family。