Google Bigquery 是否适合从 IoT 设备插入数据？答案

【问题标题】：is Google Bigquery suitable for inserting data from IoT devices?Google Bigquery 是否适合从 IoT 设备插入数据？
【发布时间】：2018-11-10 16:58:20
【问题描述】：

我在一家初创公司工作，我们将在那里销售某种物联网设备。这些设备将连接到我们托管在谷歌云中的服务器，并每 1 秒发送一次数据，我的服务器会将其作为时间序列存储在数据库中。假设我们连接了 1000 台设备，并且每秒都在发送数据，是否适合使用 google bigquery 每秒将这些数据插入到每个设备的表中，并将其插入到设备所有者的对应表中？

由于我的数据是时间序列的形式，我正在考虑为每个用户（我的设备所有者）使用分区表，但是官方文档中列出了限制和配额，我担心我的上限会达到上限每秒插入次数（并不是说我会根据手机应用上的用户需求查询数据）。

如果不合适，什么适合我的用例？

编辑：我主要担心每秒插入的大量数据可能超过 BigQuery 限制或可能导致速度变慢，因为它主要用于数据仓库。 BigTable 对我们来说似乎很昂贵，而 CloudSQL 似乎是要走的路，但我们担心一旦表被填满，查询时间会很慢，因为我每天为每个用户插入 86400 行。

谢谢。

【问题讨论】：

标签： google-cloud-platform google-bigquery google-cloud-sql

【解决方案1】：

您应该查看CLOUD IOT CORE - 完全托管的服务，可轻松安全地连接、管理和摄取来自全球分散设备的数据

Cloud IoT Core 捕获的设备数据会发布到 Cloud Pub/Sub 以进行下游分析。您可以使用 Google BigQuery 进行临时分析，使用 Cloud Machine Learning Engine 轻松运行高级分析和应用机器学习，或者使用 Google Data Studio 中的丰富报告和仪表板可视化 IoT 数据结果。

也检查IoT Core with PubSub, Dataflow, and BigQuery

【讨论】：

感谢您的建议，但我知道，我主要担心每秒插入的大量数据可能超过 BigQuery 限制或可能导致速度变慢，因为它主要用于数据仓库。 BigTable 对我们来说似乎很昂贵，而 CloudSQL 似乎是要走的路，但我们担心一旦表被填满，查询时间会很慢，因为我每天为每个用户插入 86400 行。
通过 IoT Core 以及扩展的 Pub/Sub，然后使用 Dataflow 从 Pub/Sub 推送到 BigQuery，这意味着您每秒处理插入的可扩展性非常高。 Dataflow 还可以批量插入到 BQ 中，以帮助您解决可能达到的任何潜在配额。