如何使用字符串架构定义从 DataFlow 创建包含必填字段的 BigQuery 表？

Question

我正在使用 DataFlow 的 WriteToBigQuery 和 CREATE_IF_NEEDED，因此必须指定架构。

我在代码的开头（在实际管道之外）定义了架构，但由于我需要标志 --save_main_session，我得到了与 here 相同的错误，这说明架构不能与管道，因为 BigQuery 架构定义不可腌制。

页面上提到的解决方案对我来说不是一个选项（禁用--save_main_session 标志），因此指定架构的other option 是通过字符串。 但是，我需要将一些字段设置为REQUIRED。有没有办法用字符串模式定义来做到这一点？

Answer 1

从bigquery.py 可以看出，从字符串模式到 TableSchema 的转换非常简单，并且确实将模式设置为 NULLABLE。也许您可以根据此代码 sn-p 创建带有 REQUIRED 字段的 TableSchema。