无法让 Spark NLP 在 Databricks 上工作答案

【问题标题】：Can't get Spark NLP working on Databricks无法让 Spark NLP 在 Databricks 上工作
【发布时间】：2020-08-20 15:27:03
【问题描述】：

我做了以下事情：

import pyspark
from pyspark.sql import SparkSession

from pyspark import SparkContext, SparkConf, SQLContext

spark = SparkSession \
    .builder \
    .appName('Amazon ETL') \
    .config('spark.jars.packages', 'com.johnsnowlabs.nlp:spark-nlp_2.11:2.4.5') \
    .getOrCreate()

加...

import sparknlp
from sparknlp.annotator import *

我收到以下错误消息： Error Message

任何帮助将不胜感激！

谢谢，开尔文

【问题讨论】：

请将代码和数据添加为文本 (using code formatting)，而不是图像。图片：A）不允许我们复制粘贴代码/错误/数据进行测试； B) 不允许根据代码/错误/数据内容进行搜索；和many more reasons。除了代码格式的文本之外，只有在图像添加了一些重要的东西，而不仅仅是文本代码/错误/数据传达的内容时，才应该使用图像。

标签： python pyspark nlp databricks johnsnowlabs-spark-nlp

【解决方案1】：

我通过使用 maven 安装 sparknlp lib 来预安装 JAVA 依赖项解决了这个问题。

在 Cluster-Libraries 部分中，选择 install new，然后选择 maven，然后输入 com.johnsnowlabs.nlp:spark-nlp_2.11:2.5.0

【讨论】：