具有火花流兼容性的映射流答案

【问题标题】：mapr streams with spark streaming compatability具有火花流兼容性的映射流
【发布时间】：2017-10-22 16:10:07
【问题描述】：

mapr 流是否适用于 pyspark。我下载了必要的 jar 并尝试测试以下示例。 https://github.com/ihijazi/data-engineering/blob/master/Kafka-MapR-DB-HBase.py 请告诉我我错过了什么。

[mapr@ip-10-0-0-85 centos]$ /opt/mapr/spark/spark-2.1.0/bin/spark-
submit --jars /opt/mapr/spark/spark-2.1.0/jars/spark-streaming_2.10-
2.1.0.jar /home/mapr/kafka.py
Traceback (most recent call last):
File "/home/mapr/kafka.py", line 7, in <module>
from pyspark.streaming.kafka import *;
ImportError: No module named kafka

【问题讨论】：

标签： apache-spark pyspark apache-kafka mapr

【解决方案1】：

根据 Issam Hijazi 的调查结果，pyspark 未编译为与 MapR Streams 一起使用（因为它不使用 v09）。但是，他还报告说下载了最新版本http://package.mapr.com/releases/ecosystem-5.x/redhat/mapr-spark-1.6.1.201612010646-1.noarch.rpm 解决了这个问题。详情请看：https://community.mapr.com/message/54864-re-mapr-streams-via-pyspark-exception?commentID=54864#comment-54864

【讨论】：

【解决方案2】：

进入 spark 文件夹

cd spark/python/pyspark/streaming

搜索您是否有 kafka 或 kafka08 或 kafka09 并在代码中的导入语句中进行相应更改

【讨论】：