BigQuery 相当于 FastExport答案

【问题标题】：BigQuery equivalent of FastExportBigQuery 相当于 FastExport
【发布时间】：2020-03-04 13:36:14
【问题描述】：

我有多个 Teradata 快速导出用例，用于为各种报告提取数据并提供给某些大型机作业（二进制数据）。在 BigQuery 中，我可以运行 **bq extract **，但选项有限。我想知道 BigQuery 中的 FastExport 是否有任何等效实用程序。

【问题讨论】：

您能否详细说明缺少哪些功能来服务您的用例？
@YunZhang 我有一些遗留工作将数据发送到 TD，对 Teradata 进行大量处理，然后将处理后的数据（通过组合 Datawarehouse 中的其他数据）提取回大型机。这个提取的文件，根据用例需要是二进制格式，固定宽度，处理十进制，将多个二进制提取文件合并为一个。有没有更好的方法将处理后的数据从 BigQuery 提供给 MainFrame（例如为 BQ 运行 FastExport 等效脚本），而不是使用自定义代码来处理所有这些。
我查看了 FastExport 文档。它似乎是 TD 制作的专有脚本语言，用于完成复杂的导出工作。与 BigQuery 最接近的似乎是将 FastExport 逻辑转换为 BigQuery SQL 或脚本并将所有字段放置到位。然后手动编写代码，将数据表转换成 MainFrame 可以识别的格式。

【解决方案1】：

我想知道 BigQuery 中的 FastExport 是否有任何等效实用程序

是的。它被称为BigQuery Storage API

BigQuery Storage API 使用基于 rpc 的协议提供对 BigQuery 托管存储的快速访问。

【讨论】：

感谢 Mikhail 指出 BQ Storage API。但是，我的要求更多的是获取包含二进制格式和 Fixwidth 数据的文件中的数据，以便大型机作业可以在从 TD 切换到 BigQuery 后继续读取文件。