【发布时间】:2018-09-14 14:18:36
【问题描述】:
我们可以在 Azure Data Lake Analytics 中使用 R/Python 代码扩展 U-SQL 脚本,但是我们如何在本地进行呢?
【问题讨论】:
标签: azure-data-lake u-sql
我们可以在 Azure Data Lake Analytics 中使用 R/Python 代码扩展 U-SQL 脚本,但是我们如何在本地进行呢?
【问题讨论】:
标签: azure-data-lake u-sql
在您的 Data Lake Analytics 帐户中安装 U-SQL Advanced Analytics 扩展
1.1 启动您的 Azure 门户
1.2 导航到您的数据湖分析帐户
1.3 单击示例脚本
1.4 点击更多并选择安装 U-SQL 扩展
1.5 等到扩展安装完成 (2GB)
1.6 你等了吗?然后转到您的数据湖分析帐户
1.7 导航到您的默认 Data Lake Store 帐户
1.8 点击Data Explorer,验证文件夹/usqlext是否存在
获取 USQL 本地运行路径
2.1 启动您的 Visual Studio
2.2 选择工具 > 选项 > Azure Data Lake > 常规
2.3 在 U-SQL Local Run 下,找到并复制 DataRoot 的值
2.4 值将如下所示:C:\Users\username\AppData\Local\USQLDataRoot
将 U-SQL 高级分析扩展从 Azure 复制到本地主机
3.1 使用 powershell 脚本或...转到下一行
3.2 启动 Microsoft Azure Storage Explorer(好工具,安装它)
3.3 找到您的默认 Data Lake Store,即您的 Data Lake Analytics 帐户之一
3.4 打开数据资源管理器并将文件夹 /usqlext 下载到 USQL 本地运行路径
3.5 完整路径应该是这样的:C:\Users\username\AppData\Local\USQLDataRoot\usqlext
最后一步,在 U-SQL 本地运行下注册所有 Azure U-SQL 扩展
4.1 启动您的 Visual Studio
4.2 启动一个新的 U-SQL 项目
4.3 打开文件 C:\Users\username\AppData\Local\USQLDataRoot\usqlext\RegisterAll.usql
4.4 将文本复制到您自己的 U-SQL 脚本中
4.5 以本地执行模式运行
4.6 一旦脚本完成......
您将能够在自己的计算机上使用所有 U-SQL 高级分析功能(Python、R、认知)并探索 \usqlext\samples 中的所有示例!
祝你有个美好的一天!
【讨论】:
此答案并不直接适用于 OP,但本文与我遇到的问题最接近。知道其他人在寻找解决方案时可能会找到这篇文章,我正在记录我对这个帖子的回答。
问题:在 Azure 门户(不是本地)中,如果选择“安装 Azure U-SQL 扩展”,作业最终会失败并出现非描述性错误。
幕后发生的事情是所有文件都复制到存储中,但程序集无法注册。我们必须手动创建一个作业来注册程序集。
答案:
程序集将被注册(通过检查目录->主->程序集进行验证)。您现在可以运行 Cognition 和 Python 示例。
【讨论】: