TensorFlow 数据验证和 BigQuery

Question

我想使用 TensorFlow 数据验证来分析和验证数据以输入我的机器学习模型。 但是，我的原始数据表位于 BigQuery（超过 30gb）上，我无法将其加载为 pandas 数据框。

如何将数据从 Bigquery 加载到我的笔记本中，以便使用 TensorFlow 数据验证对其进行分析？

我想我可能会使用 Dataflow，但我可以找到一个合适的例子

Answer 1

将所有内容加载到 TFRecord 文件中，然后将其传递给 TF Data Validation。

Here 您可以找到他们将数据从 BigQuery 加载到 TFRecord 的示例（他们使用 Apache Beam）。