Clojure 中的 CSV 解析器需要避免引号中的逗号

Question

更新：通过这个：

#",(?=([^\"]*\"[^\"]*\")*[^\"]*$)"

到clojure.string/split 解析CSV。

更新：我需要一个匹配所有不在引号中的逗号的正则表达式，其格式可供clojure.string/split 使用。

我在 Clojure 中写了一个 CSV 解析函数：

(defn parse-csv [data schema]
  (let [split-data (clojure.string/split data #",")]
    (loop [rm-data split-data
           rm-keys (:keys schema)
           rm-trans (:trans schema)
           final {}]
      (if (empty? rm-keys)
           final
          (recur (rest rm-data)
                 (rest rm-keys)
                 (rest rm-trans)
                 (into final
                   {(first rm-keys)
                   ((first rm-trans) (first rm-data))}))))))

schema 只是一个哈希映射，由关键字列表和函数列表（应用于它们各自的值）组成。这用于定义输出哈希映射的外观。 这是一个例子：

(def schema {:keys [:foo :bar :baz] :trans [identity read-string identity]})
(parse-csv "Hello,42,world" schema) ;; returns {:foo "Hello", :bar 42, :baz "world"}

但是，如果我们这样做：

(def schema {:keys [:foo :bar :baz] :trans [identity identity identity]})
(parse-csv "Hello,\"Newell, Gabe\",world" schema) ;; returns {:foo "Hello" :bar "\"Newell" :baz "Gabe\""}

事情变得一团糟，“世界”这个词被忽略了。结果应该如下所示：

{:foo "Hello" :bar "\"Newell, Gabe\"" :baz "world"}

上述数据，在一个文件中，实际上看起来像Hello,"Newell, Gabe",world，所以我们需要避免在遇到"Newell, Gabe"中的逗号时触发split函数。

我们需要一个函数，将字符串按特定字符分割除非特定字符在引号中。

Answer 1

要允许在字段中使用分隔符（此处为 ,），需要引用这些字段。

您在这里使用\" 所做的是转义引号（unix 样式，引号也可以用另一个引号转义）。

因此，允许在字段内使用,：

"Hello,"Newell, Gabe",world"

那些外部引号当然不应该是 csv 的一部分。

更新问题编辑后：

文件中的上述数据实际上看起来像 Hello,"Newell, Gabe",world，所以我们需要避免触发split函数 在“Newell, Gabe”中遇到逗号。

Hello,"Newell, Gabe",world

这是完全有效的 csv，但如果在 , 上使用纯拆分函数处理它，您就有麻烦了。

一个选项可能是使用另一个分隔符，例如 | 或 ;。

更新 2：

所以我需要一个将 CSV 字符串拆分为字段的新函数，除非 逗号用引号引起来（我无法更改数据集）。我该怎么走 关于实现这个？

对于每一行，您需要扫描每个字符，有点像伪代码中的这样（我不知道 Clojure，所以我无法为您提供一些代码，但我经常处理大型 csv 文件):

bool InsideQuotes = false;
loop through chars
  if `,` and InsideQuotes == false -> new field
  if `"` -> InsideQuotes = !InsideQuotes

这样，引用字段中的引号可以用另一个引号转义。例如：

Hello,"17"" monitor, Samsung",world

更新：

对于 csv 上的一些 Regex，请参阅 this 和 this。