`TFNerDLGraphBuilder()` 的 libraryDependencies for Spark with Scala答案

【问题标题】：libraryDependencies for `TFNerDLGraphBuilder()` for Spark with Scala`TFNerDLGraphBuilder()` 的 libraryDependencies for Spark with Scala
【发布时间】：2022-11-22 19:02:27
【问题描述】：

谁能告诉我 libraryDependencies for TFNerDLGraphBuilder() for Spark with Scala 是什么？它给我错误，Cannot resolve symbol TFNerDLGraphBuilder

我看到它适用于笔记本，如下所示

https://github.com/JohnSnowLabs/spark-nlp-workshop/blob/master/tutorials/Certification_Trainings/Public/4.NERDL_Training.ipynb

【问题讨论】：

标签： scala apache-spark nlp sbt johnsnowlabs-spark-nlp

【解决方案1】：

Spark NLP 中的 TensorFlow 图是使用 TF python api 构建的。据我所知，不包括用于创建 Conv1D/BiLSTM/CRC 图的 java 版本。

因此，您需要先按照以下说明创建它：

https://nlp.johnsnowlabs.com/docs/en/training#tensorflow-graphs

这将创建一个 pb TensorFlow 文件，您必须将其包含在 NerDLApproach 注释器中。例如：

val nerTagger = new NerDLApproach()
  .setInputCols("sentence", "token", "embeddings")
  .setOutputCol("ner")
  .setLabelColumn("label")
  .setMaxEpochs(100)
  .setRandomSeed(0)
  .setPo(0.03f)
  .setLr(0.2f)
  .setDropout(0.5f)
  .setBatchSize(100)
  .setVerbose(Verbose.Epochs)
  .setGraphFolder(TfGrpahPath)

请注意，您必须首先包含嵌入注释，并且训练过程将在驱动程序中执行。它没有像 BigDL 那样分发

【讨论】：