pyspark 抛出 TypeError: textFile() missing 1 required positional argument: 'name'

Question

我搜索了这个问题，但没有与 spark-2.2.0-bin-hadoop2.7 相关的直接答案。我正在尝试从本地目录中读取文本文件，但我总是得到 TypeError that name 参数丢失。这是使用 Python3 的 jupyter notebook 中的代码：

from pyspark import SparkContext as sc
data = sc.textFile("/home/bigdata/test.txt")

当我运行单元格时，我收到此错误：

TypeError                                 Traceback (most recent call last)
  <ipython-input-7-2a326e5b8f8c> in <module>()
  1 from pyspark import SparkContext as sc
  ----> 2 data = sc.textFile("/home/bigdata/test.txt")
  TypeError: textFile() missing 1 required positional argument: 'name'

感谢您的帮助。

Answer 1

from pyspark import SparkConf
from pyspark.context import SparkContext
sc = SparkContext.getOrCreate(SparkConf())
data = sc.textFile("my_file.txt")

显示一些内容

['这是文本文件，sc工作正常']

Answer 2

您正在拨打textFile() instance method

def textFile(self, name, minPartitions=None, use_unicode=True):

就像它是一个静态方法，导致 "/home/bigdata/test.txt" 字符串被用于 self 值，而未指定 name 参数，因此出现错误。

创建SparkContext 类的实例：

from pyspark import SparkConf
from pyspark.context import SparkContext

sc = SparkContext.getOrCreate(SparkConf().setMaster("local[*]"))
data = sc.textFile("/home/bigdata/test.txt")