删除大型 csv 文件的列

Question

我有一个大约 2 GB 的大型 CSV 文件，包含 7 列。我想删除它的第 4 列，它是一个文本 (sn-p)。我使用了“剪切”命令，例如：

cut -d, f 4 -- 补文件

但它不会删除该列，因为它会在一行中遇到逗号并从该行中删除第 4 列时创建列。在回答here之后，我使用了csvquote like：

csv 引用文件 |剪切 -d "," -f 4 --complement |唯一的-c | csvquote -u

它适用于小文件，但会引发大文件错误：

errno: 值对于定义的数据类型来说太大

我想知道一些删除大数据文件列的解决方案。谢谢。

编辑：头文件输出：

搞笑,user_id,review_id,文本,business_id,星星,日期,有用,类型,酷 0，WV5XKbgVHJXEgw7f-b6PVA，hhmpSM4LcHQv6noXlYYCgw，“特意去找这个地方，因为我读到他们有很棒的poutine。值得一游。真的很棒。从存储容器中送达这个地方很时髦。10美元两大份poutine。薯条很脆，可以很好地容纳奶油肉汁。上面是一大块吱吱作响的白奶酪凝乳，这是一顿美餐。

Answer 1

您是否尝试过让 cut 使用其他字段来代替？

像这样：

trucks | cut -f 1,3- -d , | uniq -c | csvquote/csvquote -u

我在我的机器上对其进行了测试，它似乎可以工作。但是我没有看到你的数据样本，你也没有注意到哪个程序抛出了

errno: 值对于定义的数据类型来说太大