将文件导入databricks笔记本的问题答案

【问题标题】：Problem with importing file into databricks notebook将文件导入databricks笔记本的问题
【发布时间】：2020-10-09 22:58:05
【问题描述】：

我正在尝试将 .txt 文件从本地计算机导入数据块笔记本 (scala)。我进入数据部分并单击“添加数据”。在顶部面板中选择了“上传文件”选项，我单击浏览以查找文件，然后单击“在笔记本中创建表”。然后我得到文件的路径，但是当我尝试通过命令“val file_location =”/FileStore/tables/....txt”访问另一个笔记本中的数据时，我得到一个“java.io.FileNotFoundException：/FileStore /tables/....txt（没有这样的文件或目录）”。有谁知道我在这里做错了什么以及我应该怎么做？

亲切的问候

【问题讨论】：

似乎无法读取 .txt 文件。如果我将 spark.read.format("txt") 行更改为 spark.read.format("csv") 它可以找到数据（但随后它被加载为 csv 文件，这不是我想要的）。

标签： scala apache-spark import databricks txt

【解决方案1】：

格式应该是text，而不是txt。见documentation：

scala> val df = spark.read.format("text").load("README.md")
df: org.apache.spark.sql.DataFrame = [value: string]

scala> df.count
res0: Long = 104

或者你可以使用spark.read.textFile 函数，它是真正的捷径：

scala> spark.read.textFile("README.md").count
res1: Long = 104

【讨论】：