在 Azure 数据湖中附加 csv 文件

Question

我在 azure datalake 存储中有几个 50GB+ csv 文件保存在分区文件夹下，例如 -

source/table/partition1/file1.csv
source/table/partition2/file2.csv
...
source/table/partitionN/fileN.csv 

文件具有相同的结构。我想使用 Azure Powershell 命令将所有这些文件合并/附加在一起，并在新位置生成一个大文件，而不会损坏原始文件。

我尝试了以下命令 -

Join-AzureRmDataLakeStoreItem -AccountName "DatalakeStoreName" 
-Paths "source/table/partition1/file1.csv",
"source/table/partition2/file2.csv" 
-Destination "/Merged/table/final.csv"

但这破坏了原始文件并创建了新的 final.csv 我知道，有可用的 Azure 数据工厂，但它需要部署多个代码对象，我正在处理 7000 多个这样的提要，所以理想情况下，我想通过一个 powershell 脚本运行这个合并活动。

有没有人知道任何有效且不同的解决方案来保持原始文件完好无损？

Answer 1

您可以使用直接在 Powershell 中定义的 U-SQL 脚本来执行此操作。只需确保您还拥有 Azure Data Lake Analytics 帐户即可。带有 U-SQL 脚本的示例 PowerShell 脚本：

#You can also save the script locally on a file and use -ScriptPath instead of -Script
$usqlScript = @"
    @extract  = 
    SELECT 
        column1 string,
        column2 int,
        #... list all columns and data types
        columnN string,
        partition string,
        fileNumber int
    FROM source/table/{partition}/file{fileNumber}.csv

    OUTPUT @extract
        TO "combinedFiles.csv"
        USING Outputters.Csv();
"@

$adla = "DataLakeAnalyticsAccountName"
Submit-AzureRmDataLakeAnalyticsJob -AccountName $adla -Script $usqlScript -Name "JobName"

文件集 source/table/{partition}/file{fileNumber}.csv 将提取路径与该模式匹配的每个文件，并将通配符 {partition} 和 {fileNumber} 保存为列，这样您就没有在整合数据时丢失该信息。您的原始文件将保持不变。如果您还有其他问题，请告诉我！