【发布时间】：2020-08-31 14:01:17
【问题描述】：
我了解 livy 会话语句 会像下面的示例一样接收代码语句。
data = {
'code': textwrap.dedent("""
import random
NUM_SAMPLES = 100000
def sample(p):
x, y = random.random(), random.random()
return 1 if x*x + y*y < 1 else 0
count = sc.parallelize(xrange(0, NUM_SAMPLES)).map(sample).reduce(lambda a, b: a + b)
print "Pi is roughly %f" % (4.0 * count / NUM_SAMPLES)
""")
}
r = requests.post(statements_url, data=json.dumps(data), headers=headers)
但是有没有办法可以提供 pyspark 文件，可能是这样的：
data = {
'pySparkFile': file_name.py
}
我知道 livy batch 提供了这个功能，但我想要一个交互式会话，用户可以一个接一个地传递多个脚本，我们也可以调用其他脚本的变量，就像在交互式 pySpark 会话中一样。
【问题讨论】：
标签： python python-3.x python-2.7 pyspark livy