在 blob 存储中转换 xslx csv 文件并存储到 ADLS答案

【问题标题】：Transform xslx csv file in blob storage and store into ADLS在 blob 存储中转换 xslx csv 文件并存储到 ADLS
【发布时间】：2021-11-21 07:12:49
【问题描述】：

我需要一些帮助来转换位于 azure blob 存储中的 xslx、csv（删除一些行，重命名一些列名），并将其保存在 adls 中。有人能给我一些关于如何完成这项任务的想法或步骤，那真的很有帮助。感谢您的帮助，非常感谢

P.S : 我最近从开发转向云，对云完全陌生，对 adf、管道、活动、blob 和一些基本的东西有一些基本的想法。

【问题讨论】：

【解决方案1】：

无法使用 Azure 数据工厂将 xslx 文件存储在 Azure Data Lake Storage 中。

解决方法可以使用 Python 代码存储它。这个github link中给出了Python代码

要转换 CSV 文件并将其存储到 Azure Data Lake Storage，您可以使用 Azure 数据工厂。

第 1 步： 创建管道

第二步：选择数据流。

第 3 步： 添加 Source（Blob Storage 中的 CSV）和 Sink（Azure Data Lake Storage）

第 4 步： 我已获取示例 CSV 文件，如下所示。有 2 列 TestCol1 和 TestCol2。

第五步：为了重命名这两列，我在数据流中使用了 select 语句。这里我重命名了 2 列。

如上图所示，您可以重命名列。

第 6 步：现在您可以运行管道并将数据存储到 Azure Data Lake Storage。

还有许多转换 CSV 文件的选项。如下图所示。

有关更多数据转换的想法，您可以点击这 2 个链接 –

【讨论】：