pyspark import 可以通过 --py-files

公用函数的放到了 common.py 文件中. 通过 --py-files 可以在pyspark中可以顺利导入:

pyspark --py-files lib/common.py

> import common

 

OK