一台 PC 上的 Spark 2.2.1 spark.master local[*] vs spark://192.168.1.5:7077答案

【问题标题】：Spark 2.2.1 on One PC spark.master local[*] vs spark://192.168.1.5:7077一台 PC 上的 Spark 2.2.1 spark.master local[*] vs spark://192.168.1.5:7077
【发布时间】：2018-02-07 21:19:34
【问题描述】：

我有带有 Spark 2.2.1 的独立 Windows 7 PC。为读取 json 编写额外的简单 Java 应用程序（来自 people.json）当我使用 spark.master=local[*] 执行（从 Eclipse 运行）时，一切正常，

Dataset<Row> df = spark.read().option("header","false").json(jsonPath);
 df.printSchema();
 df.show();

它读取 json 并输出正确。

但是当我更改 spark.master=spark://192.168.1.5:7077 时，它会失败并出现以下错误：

java.lang.NoClassDefFoundError: org/apache/commons/lang3/time/FastDateParser$2

与

<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.5</version>

和错误：

Exception in thread "main" java.lang.IllegalArgumentException: Illegal pattern component: XXX
at org.apache.commons.lang3.time.FastDateFormat.parsePattern(FastDateFormat.java:577)

与

<dependency>
<groupId>org.apache.commons</groupId>
<artifactId>commons-lang3</artifactId>
<version>3.1</version>

Java：

C:\Users\gdev>java -version 
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

还有 eclipse 中的这个 jre。

出了什么问题，我做错了什么？谢谢。

【问题讨论】：

spark://192.168.1.5:7077 是本地master和hava slave连接的。它在 WebUI 中正确显示。我可以看到我的应用程序运行历史记录。

标签： java apache-spark windows-7

【解决方案1】：

I struggle with this problem. There is problem with pattern of one of column data. I stuck with same problem and got solution.
Please try to run following code. It will work for me.

var df = session.read.format("csv")
          .option("header", true)
          .option("inferSchema", true)
          .option("timestampFormat", "yyyy/MM/dd HH:mm:ss ZZ")
          .load("file:///home/rajeev/abc.csv")

【讨论】：