如何在 Spark 中使用 deeplearning4j Word2vec？

Question

使用 spark-submit 时，我需要使用 --packages 发送依赖项。我应该使用哪个包？

我尝试制作一个包含依赖项的 uber jar，但出现以下错误：

java.lang.IllegalArgumentException: Please specify an existing file

错误是以下代码的结果：

String path = "hdfs:///user/data.txt";
SentenceIterator iter = new LineSentenceIterator(new File(path));

Answer 1

Deeplearning4j 实际上有自己的 spark 版本的 word2vec。 在此处查看我们的示例： https://github.com/deeplearning4j/deeplearning4j/blob/master/deeplearning4j-scaleout/spark/dl4j-spark-nlp/src/test/java/org/deeplearning4j/spark/models/embeddings/word2vec/Word2VecTest.java#L57