【问题标题】:How to unique by column large file via sort command?如何通过排序命令按列大文件唯一?
【发布时间】:2021-11-21 01:15:34
【问题描述】:

我有一个大列表(600 万行)并且想按第 2 列唯一排序,如何通过排序命令来做到这一点? 例如

CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
MICH,000-00-0000,EVINS
CONT,111-11-1111,GRAM

转入

CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
CONT,111-11-1111,GRAM

【问题讨论】:

标签: linux shell sorting awk unique


【解决方案1】:
$ awk -F, '!array[$2]++' input_file
CONT,000-00-0000,GRAM
BEVE,507-66-6876,IGHT
CONT,111-11-1111,GRAM

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 2010-12-25
    • 2016-06-10
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2010-10-30
    • 1970-01-01
    相关资源
    最近更新 更多