如何在bluemix spark上的python笔记本中添加一个jar？答案

【问题标题】：how to add a jar to python notebook on bluemix spark?如何在bluemix spark上的python笔记本中添加一个jar？
【发布时间】：2016-06-06 15:37:47
【问题描述】：

我想在 python 中使用 spark jdbc。第一步是添加一个罐子：

%AddJar http://central.maven.org/maven2/org/apache/hive/hive-jdbc/2.0.0/hive-jdbc-2.0.0.jar -f

然而，回应：

ERROR: Line magic function `%AddJar` not found.

如何在 python 脚本中添加 JDBC jar 文件？

【问题讨论】：

标签： python apache-spark ipython ibm-cloud jupyter-notebook

【解决方案1】：

目前，这仅通过 python notebook 是不可能的；但它被理解为一个重要的要求。在支持此功能之前，您可以从 python 笔记本的同一个 spark 服务实例创建一个 scala 笔记本并从那里创建 %AddJar。然后同一个 spark 服务实例的所有 python 笔记本都可以访问它。对于从 scala nb 添加 jar 时处于活动状态的 py notebook，您需要重新启动它们的内核。

请注意，这适用于 Jupyter 4+ 上的笔记本实例，但不一定适用于早期的 IPython 笔记本实例；从笔记本的“帮助”->“关于”菜单中检查版本。最近创建的任何新笔记本实例都将在 Jupyter 4+ 上。

【讨论】：

【解决方案2】：

我认为这在笔记本的 Python 内核中是不可能的，因为 %Addjar 是笔记本中的 scala 内核魔术函数。

您需要依赖服务提供商将此 jar 添加到 python 内核。

您可以尝试的另一件事是 sc.addjar() 但不确定它是如何工作的。

Add jar to pyspark when using notebook

谢谢，查尔斯。

【讨论】：

【解决方案3】：

你可以试试这个：

spark.sparkContext.addFile("filename")

【讨论】：