Datafusion 使用 XML 2003 工作表数据加载 BQ

【问题标题】：Datafusion load BQ with XML 2003 worksheet dataDatafusion 使用 XML 2003 工作表数据加载 BQ
【发布时间】：2020-12-09 08:20:02
【问题描述】：

我有一个系统将数据导出为 XML 2003 工作表。我需要通过数据融合或使用 GCP 资源的任何其他进程将其加载到 Bigquery。所以

是否可以使用 DataFusion 完成此操作
我已按照https://www.youtube.com/watch?v=e-5K4cxwGrc&feature=youtu.be 中的 XML 转换流程进行操作。到目前为止，我已经达到了标题和数据行出现在不同行但同一列中的地步。我无法将它进一步解析（使用 Wrangler）到各个列，因为它只是不断隔离不同行但同一列中的 json 键：值对

由于我是数据融合的新手，请了解一些详细的指导。

【问题讨论】：

【解决方案1】：

这可以使用数据融合来实现。

基本上，一旦您拥有文件（直接上传或使用源连接）并使用 XML 到 JSON 的转换，您可以为 JSON 添加解析操作，以便将其解析为列 [1]。这将在牧马人中添加另一个转换。

此外，我建议您查看 GCP 中数据融合的文档，该文档非常不言自明 [2]。

[1]- 列转换 -> 解析 -> JSON

【讨论】：

感谢您的意见。我实际上已经根据视频链接方向将 XML 解析为 JSON，然后分离数据，剥离 Excel MSXML 符号，使数据部分留在带有标签的列中。问题是符号不是标准的 XML 或 JSON，因此我无法将数据隔离到单独的列中。您可以对任何 Excel 2003 XML 格式的输出文件进行同样的尝试。