在 Talend 中实现 UDF 和 Pig 脚本逻辑

Question

我编写了一个 UDF，它读取输入文件并将数据分离为字符串和整数或字符串和双精度。

我的 UDF 工作正常。我还编写了一个 Pig 脚本来在 HDFS 上使用上述 jar。

现在我想将此代码与 Talend for Big Data 集成。 我怎样才能做到这一点。

UDF 中的 java 代码如下：

package com.test.udf;


import java.io.IOException;
import org.apache.pig.EvalFunc;
import org.apache.pig.data.Tuple;
import org.apache.pig.data.TupleFactory;

public class CheckDataType extends EvalFunc<Tuple> {

       @Override
       public Tuple exec(Tuple input) throws IOException {
              // TODO Auto-generated method stub

              String valString = null;
              Integer valInt =  null;
              Double valDouble =null;
              String str = (String) input.get(0);

              Tuple outputTuple =TupleFactory.getInstance().newTuple(2);

              if (str != null){
                     try{
                           valInt = Integer.parseInt(str);
                           outputTuple.set(0, valString);
                           outputTuple.set(1, valInt);

                     }
                     catch(Exception e){
                           try{
                                  valDouble = Double.parseDouble(str) ;
                                  outputTuple.set(0, valString);
                                  outputTuple.set(1, valDouble);
                           }
                           catch(Exception ew){
                           outputTuple.set(0, str);
                           outputTuple.set(1, null);
                           }
                     }     

              }
              return outputTuple;

       }

}

另外我写的猪脚本如下：

REGISTER 'CONVERT.jar';

data_load = LOAD '/tmp/input/testfile.txt' USING PigStorage(',') AS (col1:chararray, col2:chararray, col3:chararray, col4:chararray, col5:chararray);

data_grp = GROUP data_load BY ($input_col);

data_flatten = FOREACH data_grp GENERATE FLATTEN(com.test.udf.CheckDataType(*));

rmf /tmp/output;

STORE data_flatten INTO '/tmp/output' USING PigStorage(',');

如何将其集成到 Talend for Big Data 中。

Answer 1

更新答案：

您需要将您的 pig 脚本拆分为 3 个组件，PigLoad、PigCode 和 PigStoreResult 并将它们连接起来。 UDF 可以作为代码包含在内，也可以作为单独的 jar 包含在 PigLoad 组件中。

分步说明可以在这里找到：https://www.evernote.com/l/AJONeXS0_sBNwpDfmPByJSUVS0vmAs04EGM