【问题标题】:U-SQL error in Azure Data Lake AnalyticsAzure 数据湖分析中的 U-SQL 错误
【发布时间】:2018-04-02 02:28:11
【问题描述】:

我正在尝试在 azure 数据湖分析中执行一个简单的管道,但我在使用 U-SQL 时遇到了一些问题。我想知道是否有人可以伸出援助之手。

我的查询:

DECLARE @log_file string = "/datalake/valores.tsv";
DECLARE @summary_file string = "/datalake/output.tsv";

@log = EXTRACT valor string from @log_file USING Extractors.Tsv(); 

@summary = select sum(int.valor) as somavalor from @log;OUTPUT @summary 
TO @summary_file USING Outputters.Tsv();

错误: Erro

其他一般疑问: 1. 当我向 ADF 部署新管道时,有时它不会出现在活动窗口中,但有时会出现。我没明白其中的逻辑。 (我正在使用 OneTime 管道模式) 2. 有更好的方法来创建新的管道(除了操作原始 Json 文件?) 3.有U-SQL解析器吗?测试我的查询的最简单方法是什么?

非常感谢。

【问题讨论】:

  • 请使用格式化工具正确编辑和格式化您的问题/答案。句子中的代码格式为code 非常重要的单词要粗体,次要的单词要斜体必要时也可以使用列表

标签: azure-data-lake u-sql


【解决方案1】:

U-SQL 是 case-sensitive,所以你的 U-SQL 应该看起来更像这样:

DECLARE @log_file string = "/datalake/valores.tsv";
DECLARE @summary_file string = "/datalake/output.tsv";

@log =
    EXTRACT valor int
    FROM @log_file
    USING Extractors.Tsv();

@summary =
    SELECT SUM(valor) AS somavalor
    FROM @log;

OUTPUT @summary 
TO @summary_file USING Outputters.Tsv();

我假设您的输入文件只有一个 int 类型的列。

使用 Visual Studio U-SQL 项目、VS Code U-SQL 插件确保您编写有效的 U-SQL。您还可以通过门户提交 U-SQL 作业。

【讨论】:

  • 另请注意,您可以使用本地运行与 VS 和 VS Code 中的 ADL 工具来测试您的查询。
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2017-07-26
  • 2018-10-02
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多