简单的“R-like”融化：更好的方法是什么？

Question

今天我尝试实现一个“R-like”的融化功能。我将它用于来自 Big Query 的大数据。 我对计算时间没有太大的限制，而且这个函数在数百万行上的工作时间不到 5-10 秒。

我从这种数据开始：

(def sample 
  '({:list "123,250" :group "a"} {:list "234,260" :group "b"}))

然后我定义了一个将列表放入向量的函数：

(defn split-data-rank [datatab value]
  (let [splitted (map (fn[x] (assoc x value (str/split (x value) #","))) datatab)]
    (map (fn[y] (let [index (map inc (range (count (y value))))] 
                  (assoc y value (zipmap index (y value))))) 
         splitted)))

启动：

(split-data-rank sample :list)

如您所见，它返回相同的序列，但将 :list 替换为一个映射，给出引用列表中每个项目在列表中的位置。

然后，我想通过为组中的每个项目创建其自己的行及其在组中的排名来融化“数据框”。

所以我创建了这个函数：

(defn split-melt [datatab value]
  (let [splitted (split-data-rank datatab value)]
    (map (fn [y] (dissoc y value))
      (apply concat
        (map
          (fn[x]
            (map
              (fn[[k v]]
                (assoc x :item v :Rank k))
              (x value)))
     splitted)))))

启动：

(split-melt sample :list)

问题是它缩进很多并且使用了大量的地图。我将 dissoc 应用于 drop :list （现在没用了），我还必须使用 concat 因为没有它我有一个序列序列。

您认为设计此功能是否有更有效/更短的方法？ 我对 reduce 很困惑，不知道它是否可以在这里应用，因为在某种程度上有两个参数。

非常感谢！

Answer 1

如果您不需要split-data-rank 功能，我会选择：

(defn melt [datatab value]
  (mapcat (fn [x]
            (let [items (str/split (get x value) #",")]
              (map-indexed (fn [idx item]
                             (-> x
                                 (assoc :Rank (inc idx) :item item)
                                 (dissoc value)))
                           items)))
          datatab))