如何在 Scalding 中定义源字段答案

【问题标题】：How to define source fields in Scalding如何在 Scalding 中定义源字段
【发布时间】：2015-07-22 00:18:13
【问题描述】：

一个月前我在 Cascading 工作。现在我们正在尝试在 Scalding 中实现相同的功能。我有一个基本问题。

如何在 Scalding 中定义我的源和接收器架构？

下面是我们在 Cascading 中遵循的过程

    SrcFields sourcefields = new SrcFields();
    SinkFields sinkfields = new SinkFields();
    Fields source = sourcefields.sourceFields();
    Fields sink = sinkfields.sinkfields();
    Scheme sourceScheme = new TextDelimited(source,",");
    Scheme sinkScheme = new TextDelimited(sink,",");

【问题讨论】：

标签： scala hadoop cascading scalding

【解决方案1】：

在 Scalding 中，您可以使用Fields based 或Typed 接口，如Source documentation。以前，您将使用Csv 或Tsv 类来读取或写入。

对于类型化接口，您可以使用TypedCsv 或TypedTsv 类。

您可以在烫伤教程中找到示例：https://github.com/twitter/scalding/blob/develop/tutorial/Tutorial6.scala，https://github.com/twitter/scalding/blob/develop/tutorial/TypedTutorial.scala

【讨论】：