Spark：执行 python kinesis 流式传输示例答案

【问题标题】：Spark: Executing the python kinesis streaming exampleSpark：执行 python kinesis 流式传输示例
【发布时间】：2018-02-18 08:15:13
【问题描述】：

我是（非常）新手，如果这是一个愚蠢的问题，我深表歉意。

我正在尝试执行 spark (2.2.0) python spark streaming 示例，但是我一直遇到以下问题：

Traceback (most recent call last):
  File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/kinesis_wordcount_asl.py", line 76, in <module>
    ssc, appName, streamName, endpointUrl, regionName, InitialPositionInStream.LATEST, 2)
  File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/streaming/kinesis.py", line 92, in createStream
  File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/java_gateway.py", line 1133, in __call__
  File "/Users/rmanoch/Downloads/spark-2.2.0-bin-hadoop2.7/python/lib/py4j-0.10.4-src.zip/py4j/protocol.py", line 323, in get_return_value
py4j.protocol.Py4JError: An error occurred while calling o27.createStream. Trace:
py4j.Py4JException: Method createStream([class org.apache.spark.streaming.api.java.JavaStreamingContext, class java.lang.String, class java.lang.String, class java.lang.String, class java.lang.String, class java.lang.Integer, class org.apache.spark.streaming.Duration, class org.apache.spark.storage.StorageLevel, null, null, null, null, null]) does not exist
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:318)
        at py4j.reflection.ReflectionEngine.getMethod(ReflectionEngine.java:326)
        at py4j.Gateway.invoke(Gateway.java:272)
        at py4j.commands.AbstractCommand.invokeMethod(AbstractCommand.java:132)
        at py4j.commands.CallCommand.execute(CallCommand.java:79)
        at py4j.GatewayConnection.run(GatewayConnection.java:214)
        at java.lang.Thread.run(Thread.java:745)

我从 spark 的网站下载的 tarball 中没有包含外部文件夹（似乎有一些许可证问题），所以这是我一直试图执行的命令（在从 github 下载 kinesis_wordcount_asl.py 之后）

bin/spark-submit --packages org.apache.spark:spark-streaming-kinesis-asl_2.11:2.2.0 kinesis_wordcount_asl.py sparkEnrichedDev relay-enriched-dev https://kinesis.us-west-2.amazonaws.com us-west-2

如果需要，很乐意提供任何其他详细信息。

【问题讨论】：

标签： apache-spark pyspark spark-streaming amazon-kinesis

【解决方案1】：

根据异常情况，核心 Spark / Spark 流和 spark-kinesis 之间似乎存在版本不匹配。 API 在 Spark 2.1 和 2.2 (SPARK-19405) 之间发生了变化，版本不匹配会导致类似的错误。

这让我觉得您使用不正确的二进制文件提交（只是猜测） - 如果您使用 local 模式，它可能是 PATH、PYTHONPATH 或 SPARK_HOME 问题。因为你得到签名不匹配，我们可以假设spark-kinesis 被正确加载并且org.apache.spark.streaming.kinesis.KinesisUtilsPythonHelper 出现在CLASSPATH 上。

【讨论】：

【解决方案2】：

如果有人像我一样在这里结束，这是由于版本不匹配。我遇到了同样的问题，我设法通过将相应的版本与 kinesis 包匹配来解决它。这两个数字都应该与用于编译库的 Scala 版本和 Spark 版本相匹配。例如，我有以下内容：

$ spark-submit --version
Welcome to
      ____              __
     / __/__  ___ _____/ /__
    _\ \/ _ \/ _ `/ __/  '_/
   /___/ .__/\_,_/_/ /_/\_\   version 2.4.5
      /_/

Using Scala version 2.11.12, OpenJDK 64-Bit Server VM, 1.8.0_222
Branch HEAD
Compiled by user centos on 2020-02-02T19:38:06Z
Revision cee4ecbb16917fa85f02c635925e2687400aa56b
Url https://gitbox.apache.org/repos/asf/spark.git
Type --help for more information.

这对应于使用 Scala 2.11.12 编译的 Spark 2.4.5。所以对应的包应该是

spark-submit --packages org.apache.spark:spark-streaming-kinesis-asl_2.11:2.4.5 kinesis_...

【讨论】：