使用 JobTest 类在 Hadoop 中运行 Scalding 测试作业

Question

我无法使用 JobTest 类运行烫伤测试。下面是命令。如何发送那个命令？

Hadoop jar com.scala-0.0.1-SNAPSHOT.jar com.twitter.scalding.JobTest com.scala.etl --hdfs --input --output 

面临以下问题：

线程“main”中的异常 java.lang.NoSuchMethodException: com.twitter.scalding.JobTest.main([Ljava.lang.String;)

Answer 1

JobTest 不在 Hadoop 上执行 - 它们在 scalatest/JUnit 中执行。运行测试的方式取决于项目的构建方式。

例如，看看这个测试文件：https://github.com/danosipov/scalding-word-histogram-example/blob/master/src/test/scala/WordHistogramJobSpec.scala

该测试通过在主目录中运行sbt test 来执行，该目录在开发机器上本地运行测试。