使用 powershell 将项目从一个资源组复制到 Azure 数据湖存储中的另一个答案

【问题标题】：Copy Items from one resource group to another in Azure data lake store using powershell使用 powershell 将项目从一个资源组复制到 Azure 数据湖存储中的另一个
【发布时间】：2018-06-23 20:00:02
【问题描述】：

我想要的只是将数据从开发环境复制到 Azure 数据湖存储中的生产环境。 没有QA..

这些是 .CSV 文件，环境只不过是不同的资源组。 我尝试使用命令复制类似资源组中的数据

Move-AzureRmDataLakeStoreItem -AccountName "xyz" -path "/Product_S
ales_Data.csv" -destination "/mynewdirectory

效果很好，但是，我希望在两个不同的资源组之间进行数据移动。

我遇到的

可能的解决方案是使用 Export 命令下载本地计算机中的文件，然后使用 Import命令并将它们上传到不同的资源组。

Import-AzureRmDataLakeStoreItem
Export-AzureRmDataLakeStoreItem

使用 PowerShell 背后的原因是自动化导入文件/跨不同环境复制文件的过程，这只不过是使用 PowerShell 自动化整个部署过程。

上面提到的解决方案可能会帮助我处理这个过程，但我正在寻找一个不需要本地机器或 VM 的更好的解决方案。

【问题讨论】：

标签： powershell azure deployment command data-lake

【解决方案1】：

您确实有很多选择，以下所有选项都可以实现您想要实现的目标。请记住，您需要检查每个限制并权衡成本。例如，Azure 函数的执行时间有限（默认最长为 5 分钟）和本地存储限制。

Azure Logic Apps（从配置中拖放）
Azure Data Factory（使用 Data Lake lined 服务）
Azure 函数（使用 Data Lake REST API）
您可以使用 Azure Automation 和 PowerShell 来自动化您当前的方法。
使用ADLCopy 在湖（和其他商店）之间复制

选择可以是固执己见和主观的。

【讨论】：

您提供的建议列表绝对正确。当需要清理和加载数据时，将在稍后阶段使用数据工厂。我现在正在处理的文件是原始文件，根据流程，它们应该手动放置在 Data Lake 存储中，以便它们被我将要使用 Azure 自动化的进一步流程拾取，只需要帮助我可以将文件从一个资源组移动到另一个资源组的 PowerShell 命令。
很遗憾，如果使用PowerShell在湖之间穿梭，你确实需要下载和上传，你不能在湖之间移动。
祝你好运 - 我相信如果你想避免使用虚拟机，那么你将需要使用数据工厂、逻辑应用程序或函数。