使用 Azure Data Lake Analytics / U-SQL 拆分 1TB 文件

【问题标题】：Split 1TB file using Azure Data Lake Analytics / U-SQL使用 Azure Data Lake Analytics / U-SQL 拆分 1TB 文件
【发布时间】：2020-05-29 10:46:18
【问题描述】：

我有一个 1TB 的文本文件，其中包含一些文本数据。我想使用 Azure Data Lake Analytics / U-SQL 将其拆分为更小的数据块。

我怎样才能做到这一点？

【问题讨论】：

标签： azure azure-data-lake

【解决方案1】：

我建议使用 ADF 的 Mapping Data Flow 功能，该功能基于云端 Spark 构建

1.新建数据流

2.添加源文件

3.通过定义分区添加一个Sink文件夹

4.保存数据流

5.然后添加一个执行数据流活动并选择你的新文件拆分数据流

【讨论】：