Azure HDInsight 上的 Jupyter 无法读取同一目录中的文件

Question

我想将配置变量与 Jupyter notebook 分开。所以我想我会把所有这些变量放在一个单独的 json 文件中。我使用 Azure HDInsight，不想依赖存储帐户名称和密钥来访问此文件，因为它们本身就是配置变量。

所以我认为将此配置 json 文件存储在与笔记本位置相同的目录中可以解决此问题，并且还允许更改此配置文件而无需将 Python 脚本更改为it is also saved in storage account。

但是，Python 无法读取位于同一目录中的该文件（见截图）

笔记本首页：

笔记本：

Answer 1

我发现这是因为不同的用户和权限。

Notebook 与用户 livy 一起运行，当我运行魔术命令时，用户是 spark。所以pwdmagic 命令将工作目录显示为/var/lib/jupyter（这很混乱），它包含了笔记本主页上显示的所有文件。

为了解决我手头的问题，我可以使用带路径的 wasp（没有容器和存储帐户主机名，因为它存储在默认存储中）。

config = spark.read.json("wasb:///HdiNotebooks/config.json")

这样我删除了 Spark 代码中的容器名称和存储帐户名称硬编码。