【发布时间】：2020-08-17 03:37:06
【问题描述】：
我有一些 pyspark 代码，我将其打包为一个库，以便可以在其他项目中进行 pip 安装和使用。该代码加载了一个镶木地板文件，该文件包含在我的库中。这在大多数环境中都可以正常工作，但不适用于数据块。
在 databricks 上安装 pip 后，我可以在 file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir 看到文件，但加载 parquet 文件调用不起作用。
如果我让它尝试从/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir 加载，它根本找不到目录。
如果我从file:/databricks/python/lib/python3.7/site-package/my_package/my_parquet_dir 加载，它会找到目录但表现得好像目录是空的。几乎看起来镶木地板文件加载能够识别顶级目录（只要我将“文件：”添加到我的路径中），但是后续调用加载单个文件的加载程序失败，因为它没有添加“文件” :"。
...我只是希望有人有从 file:/databricks 访问数据的经验并且知道某种技巧。
【问题讨论】：
标签： python file databricks os.path