有没有办法在 sparkR 中加载 .RData 或 .model 文件（使用数据块）？答案

【问题标题】：Is there a way to load .RData or .model files in sparkR (using databricks)?有没有办法在 sparkR 中加载 .RData 或 .model 文件（使用数据块）？
【发布时间】：2021-01-11 07:14:44
【问题描述】：

我在 databricks 环境中使用 sparkR，并尝试加载使用 RStudio 创建的 XGB 模型。

我将模型保存为 .RData 和 .model（使用 xgb.save）类型（只是为了增加完成这项工作的机会），然后将这两个文件上传到 DBFS (databricks) 内的文件夹中。

现在，我想使用 databricks 加载模型，以便将其应用于新数据，但我总是收到相同的错误消息。这是代码和错误：

%r
# Trying to load the .RData file
load(file='/FileStore/tables/folder/xgb_model.RData')

readChar(con, 5L, useBytes = TRUE) 错误：无法打开连接 readChar(con, 5L, useBytes = TRUE) 错误：无法打开连接 readChar(con, 5L, useBytes = TRUE) 出错：无法打开连接

%r
# Trying to load the .model file
xgb.load("/FileStore/tables/folder/xgb_model.model")

xgb.Booster.handle 中的错误（modelfile = modelfile）：xgb.Booster.handle 中的错误（modelfile = modelfile）： [23:34:59] amalgamation/../dmlc-core/src/io/local_filesys.cc:209：检查失败：allow_null：LocalFileSystem::Open“/FileStore/tables/folder/xgb_model.model”：没有文件或目录

这可能吗？

【问题讨论】：

标签： r apache-spark databricks sparkr rdata

【解决方案1】：

FileStore 是special folder that is located on DBFS，因此要访问这些数据，R 代码需要了解 DBFS。但是在您的情况下，它只能与本地文件一起使用，这就是它失败的原因。要将FileStore 中的文件作为本地文件使用，您需要在文件名前面加上/dbfs/，例如/dbfs/FileStore/tables/folder/xgb_model.model（请注意，它可能不适用于具有7.x 运行时的社区版）

【讨论】：