R - SQL查询只需要1000个参数

Question

我想在我的脚本中用 SQL 执行数据库查询。但是，查询太大了，因为 SQL 只需要 1000 个参数。现在我已经修改了模运算符，但想知道是否有更优雅的方法在数据量增加时也能起作用。

提前致谢

modulo <- length(ticker_selected) + (1000 - length(ticker_selected) %% 1000)
temp <- list()
for(x in 1:(modulo/1000)) {try(
  temp[x] <- toString(sprintf("'%s'",(ticker_selected)[(length(ticker_selected)-(x-1)*999):(length(ticker_selected) - (x*999))]))
  , silent = TRUE)}
temp[x] <- toString(sprintf("'%s'",(ticker_selected)[1:((length(ticker_selected)%%999))]))

Answer 1

您是否在寻找类似以下代码的内容？

1. 要在 ticker_selected 的块中创建字符串，请定义块大小；
2. 通过ticker_selected的次数是其长度除以该大小的整数商；
3. 最后还有剩余/模数可供阅读。

   首先遍历每一遍然后剩下什么。我发现代码更具可读性。
   而且，不算 0 和 1，唯一的硬编码常量就在它的开头。

   chunk_size <- 1000L
   passes <- length(ticker_selected) %/% chunk_size
   remaining <- length(ticker_selected) %% chunk_size
   temp <- vector("list", length = passes + (remaining != 0))
   start <- 1L
   
   for(i in seq_len(passes)) {
     current <- ticker_selected[start:(start + chunk_size - 1L)]
     current <- toString(sprintf("'%s'", current))
     start <- start + chunk_size
     temp[i] <- current
   }
   if(remaining != 0) {
     current <- ticker_selected[start:length(ticker_selected)]
     current <- toString(sprintf("'%s'", current))
     temp[length(temp)] <- current
   }
   

   ---

   编辑

   回答用户Abe 的comment ，我相信以下解决了问题。

   1. 用dataframe$variable代替tickers_selected；
   2. 在 lapply 循环中运行查询，返回结果列表；
   3. rbind结果。

      query_results_list <- lapply(temp, (x) {
        s <- sprintf("SELECT var1, var2 FROM database WHERE identifier IN ( %s ) ", x)
        DBI::dbGetQuery(conn, s)
      })
      
      # fast
      result <- data.table::rbindlist(query_results_list)
      
      # slow but base R
      result <- do.call(rbind, query_results_list)