Pyspark 导入 .py 文件不起作用

Question

我的目标是将自定义 .py 文件导入我的 spark 应用程序并调用该文件中包含的一些函数

这是我尝试过的：

我有一个名为 Test.py 的测试文件，如下所示：

def func():
    print "Import is working"

在我的 Spark 应用程序中，我执行以下操作（如文档中所述）：

sc = SparkContext(conf=conf, pyFiles=['/[AbsolutePathTo]/Test.py'])

我也尝试过这个（在创建 Spark 上下文之后）：

sc.addFile("/[AbsolutePathTo]/Test.py")

在提交我的 spark 应用程序时，我什至尝试了以下方法：

./bin/spark-submit --packages com.datastax.spark:spark-cassandra-connector_2.10:1.5.0-M2 --py-files /[AbsolutePath]/Test.py ../Main/Code/app.py

但是，我总是收到名称错误：

NameError: name 'func' is not defined

当我在 app.py 中调用 func() 时。 （如果我尝试调用 Test.func()，会出现同样的错误）

最后，al 还尝试使用与上述相同的命令在 pyspark shell 中导入文件：

sc.addFile("/[AbsolutePathTo]/Test.py")

奇怪的是，我在导入时没有收到错误，但我仍然无法在没有收到错误的情况下调用 func()。另外，不确定是否重要，但我在一台机器上本地使用 spark。

我真的尝试了我能想到的一切，但仍然无法让它发挥作用。可能我错过了一些非常简单的东西。任何帮助将不胜感激。

Answer 1

好吧，其实我的问题是相当愚蠢的。做完之后：

sc.addFile("/[AbsolutePathTo]/Test.py")

我仍然需要导入 Test.py 文件，就像导入常规 python 文件一样：

import Test

那我可以打电话了

Test.func()

它有效。我认为“导入测试”不是必需的，因为我将文件添加到 spark 上下文中，但显然这没有相同的效果。 感谢 mark91 为我指明了正确的方向。

2017 年 10 月 28 日更新：

根据 cmets 的要求，这里有关于 app.py 的更多详细信息

from pyspark import SparkContext
from pyspark.conf import SparkConf

conf = SparkConf()
conf.setMaster("local[4]")
conf.setAppName("Spark Stream")
sc = SparkContext(conf=conf)
sc.addFile("Test.py")

import Test

Test.func()