使用带有 Spark Steaming PySpark 的 Kinesis 客户端库答案

【问题标题】：using Kinesis Client library with Spark Steaming PySpark使用带有 Spark Steaming PySpark 的 Kinesis 客户端库
【发布时间】：2018-04-09 21:19:51
【问题描述】：

我正在寻找使用 pySpark 在 SparkStreaming 上使用 KCL。任何指针都会有所帮助。

我尝试了 spark Kinesis Ingeration 链接给出的几个。

但是我得到了 JAVA 类引用的错误。

似乎 Python 正在使用 JAVA 类。

我尝试了链接 spark-streaming-kinesis-asl-assembly_2.10-2.0.0-preview.jar 尝试在 spark 上应用 KCL 应用程序时。

但仍然有错误。

如果有人已经这样做了，请告诉我。

如果我在网上搜索，我会得到更多关于 Twitter 和 Kafka 的信息。无法获得有关 Kinesis 的太多帮助。

使用的火花版本：1.6.3

【问题讨论】：

我尝试使用 spark-streaming-kinesis-asl_2.10-1.6.3.jar 我得到的错误是......引起：java.lang.ClassNotFoundException：com.amazonaws.services.kinesis .clientlibrary.lib.worker.InitialPositionInStream

标签： python-2.7 spark-streaming amazon-kcl

【解决方案1】：

我遇到了同样的问题。 kinesis-asl jar 缺少几个文件。

为了克服这个问题，我在我的 spark-submit 中包含了以下 jars。

amazon-kinesis-client-1.9.0.jar
aws-java-sdk-1.11.310.jar
jackson-dataformat-cbor-2.6.7.jar

注意：我使用的是 Spark 2.3.0，因此列出的 jar 版本可能与您的 spark 版本应该使用的不同。

希望这会有所帮助。

【讨论】：