我想使用这个语法：
sc.textFile(','.join(files))
不过，我还需要将每一行与相应的文本文件进行匹配，并稍后将其保存到 db。有没有办法将文件名附加到 rdd 或以某种方式知道我当前正在阅读哪个文件？最后我想要一个带有字符串（文件行内容）和另一个字符串（相应文件名）的df。
【问题讨论】：
rdd 和 df 是什么？
我想出了一个解决方案，希望它能对某人有所帮助。
我正在阅读带有 jsonl 文件的目录。我得到的是一个数据框，其中第一列是该行的值，第二列是该行来自的文件名：
from pyspark.sql.functions import input_file_name
.......
read_files = spark.sparkContext.textFile(some_dir_with_files)
lines = read_files.map(lambda x: x.encode("ascii", "ignore"))
json_data = lines.map(lambda line: json.loads(str(line)))
df = spark.createDataFrame(json_data, StringType())
df_with_file_names = df.withColumn("file_name", input_file_name())
return df_with_file_names
【讨论】：