提高从 R 中的 Rest Api 提取数据的速度

Question

我正在使用 R 从 API 中提取数据，我想知道是否可以加快调用速度。通常在提取数据后，我必须使用其他一些函数来获得所需的输出。这通常会大大降低我的代码速度。

这是一个可重现的示例：（api 密钥作为免费的）

library(httr)
library(jsonlite)
data = GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
value = data$content
value = rawToChar(value)
value = fromJSON(value)

head(value$c, 10)
#[1] 257.57 257.07 257.14 257.37 257.57 257.66

有没有办法加快我从服务器的呼叫速度？我发现我必须使用我连接的许多 api 来做到这一点。速度对我来说很重要。如果有人能提出更好的方法，将不胜感激。

@dave2e 有一个很好的想法 - 只需调用 fromJson("url goes here")。

但是，我调用的某些 api 需要标头。这就是我通常用 GET() 调用它的方式。

token = "mysecretpassword"
value = GET(url, add_headers(Authorization = token))

如何在 fromJson() 中做到这一点？

Answer 1

您无法控制下载或远程服务器。但是您可以控制 JSON 转换，没有什么比 simdjson 更快的了，您可以通过 RcppSimdJson 使用它。

代码

library(httr)
library(jsonlite)
library(RcppSimdJson)
library(rbenchmark)
data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
benchmark(value1 <- fromJSON(rawToChar(data$content)),
          value2 <- RcppSimdJson::fparse(data$content), 
          replications=1000[,1:4]

输出

R> library(httr)
R> library(jsonlite)
R> library(RcppSimdJson)
R> library(rbenchmark)
R> data <- GET("https://finnhub.io/api/v1/stock/candle?symbol=AAPL&resolution=1&from=1572651390&to=1572910590&token=btj392748v6p9f1po5vg")
R> benchmark(value1 <- fromJSON(rawToChar(data$content)),
+           value2 <- RcppSimdJson::fparse(data$content), replications=1000)[,1:4]
                                          test replications elapsed relative
1  value1 <- fromJSON(rawToChar(data$content))         1000   0.987   13.708
2 value2 <- RcppSimdJson::fparse(data$content)         1000   0.072    1.000
R> 

因此，转换方面现在快了 13 倍。这在您的整体环境中是否重要只有您自己可以决定。