使用 Azure 自动化将文件从 Azure Data Lake Store 复制到 Azure 存储答案

【问题标题】：Copy files from Azure Data Lake Store to Azure Storage with Azure Automation使用 Azure 自动化将文件从 Azure Data Lake Store 复制到 Azure 存储
【发布时间】：2018-05-26 01:04:31
【问题描述】：

我想使用 Azure 自动化将我的文件从 Data Lake Store 复制到 Azure 存储。

我找到了一个 Get-AzureStorageFile cmdlet，但它需要作为具有 CloudFileDirectory 类型的参数“Directory”。

谢谢:-)

【问题讨论】：

问题是什么？
Azure 存储帐户的库函数在 Azure Data Lake Storage 上不起作用

标签： azure azure-storage azure-data-lake azure-automation

【解决方案1】：

我相信您会想要使用 AzureRm.AzureDataLakeStore 模块。

转到您的自动化帐户，然后转到“模块”边栏选项卡。从图库中添加模块。

检查运行手册以确保模块已加载。然后执行上传或其他 Data Lake Store 功能。

# Check if the AzureRM.DataLakeStore module is loaded
If ((Get-Module -Name AzureRM.DataLakeStore -ListAvailable).Count -le 0) {
    Write-Log -Value "ERROR: The AzureRM.DataLakeStore module is not available, exiting script" -Color Red
    Write-Log -Value "Please Update Modules or download the Azure PowerShell modules from https://azure.microsoft.com/en-us/downloads/" -Color Yellow

    return
}

$myrootdir = "\"

Import-AzureRmDataLakeStoreItem -AccountName "myadls.azuredatalakestore.net -Path "C:\sampledata\vehicle1_09142014.csv" -Destination $myrootdir\mynewdirectory\vehicle1_09142014.csv

【讨论】：

【解决方案2】：

您可以使用 AdlCopy 来执行此操作。但是，您需要在订阅中配置 Hybrid Runbook Worker，然后安装 AdlCopy。然后使用 Azure 自动化 Runbook 运行 AdlCopy 命令。（执行 Runbook 时选择“Hybrid Worker”）

使用 AdlCopy（作为独立）从另一个 Data Lake Storage Gen1 帐户复制数据：

https://docs.microsoft.com/en-us/azure/data-lake-store/data-lake-store-copy-data-azure-storage-blob#use-adlcopy-as-standalone-to-copy-data-from-another-data-lake-storage-gen1-account

配置混合 Runbook Worker：

https://docs.microsoft.com/en-us/azure/automation/automation-windows-hrw-install#automated-deployment

【讨论】：