【问题标题】:How to select the minimum value which includes exponential value for each ID based on the forth column?如何根据第四列选择包含每个 ID 的指数值的最小值?
【发布时间】:2020-05-14 12:38:08
【问题描述】:

您能告诉我如何在 linux 中根据第四列和第一列分组选择具有最小值的行,包括指数行吗?

原始文件

ID,y,z,p-value
1,a,b,0.22
1,a,b,5e-10
1,a,b,1.2e-10
2,c,d,0.06
2,c,d,0.003
2,c,d,3e-7
3,e,f,0.002
3,e,f,2e-8
3,e,f,1.0

我想要的文件如下。

ID,y,z,p-value
1,a,b,1.2e-10
2,c,d,3e-7
3,e,f,2e-8

实际上这很好,所以谢谢大家!

tail -n +2 original_file > txt sort -t, -k 4g txt | awk -F, '!visited[$1]++' | sort -k2,2 -k3,3 >> final_file

【问题讨论】:

  • 欢迎来到 SO,请在您的问题中添加您为解决您自己的问题所做的努力,然后让我们知道。
  • 其实我试过如下。但这不处理“E-8”或那些指数值。 tail -n +2 original_file > txt 排序 -t, -k 4n txt | awk -F, '!visited[$1]++' |排序 -k2,2 -k3,3 >> final_file
  • 感谢您告诉我们您的努力,请将它们添加到您的问题中。

标签: sorting awk


【解决方案1】:

您可以在awk 中相当轻松地做到这一点,只需将当前记录与给定的 1st 字段的最小 4th 字段保持一致。您必须处理输出标题行并存储第一条记录以开始比较,您可以通过对第一条记录NR==1(或每个处理的文件中的第一条,FNR==1)进行操作来完成。

您可以将第一个最小值存储在由第一个字段索引的数组中,并保存包含对第 2nd 记录进行操作的值的初始记录。然后只需检查第一个字段是否与最后一个字段不同,如果是,则输出最后一个字段的最小记录并继续直到用完记录。 (注意:这假定第一个字段按照它们在文件中的递增顺序出现)然后您使用END 规则输出最终记录。

你可以把它放在一起:

awk -F, '
    FNR==1 {print; next}
    FNR==2 {rec=$0; m[$1]=$4; next}
    {
        if ($1 in m) {
            if ($4 < m[$1]) {
                rec=$0
                m[$1]=$4
            }
        }
        else {
            print rec
            rec=$0
            m[$1]=$4
        }
    }
END {
    print rec
}' file

(您的数据在文件 file 中的位置)

如果您的第一个字段不是按递增顺序排列的,那么您还需要将当前最小记录保存在一个数组中。 (例如,将rec 转换为由第一个字段索引的数组,该字段将总记录作为其值)。然后,您将延迟循环遍历两个数组,直到 END 规则输出每个第一个字段的最小记录。

使用/输出示例

您可以更新文件名以匹配包含您的数据的文件名,然后进行测试,您只需选择复制awk 表达式并用鼠标中键将其粘贴到包含您的@ 目录中的xterm 987654333@,例如

$ awk -F, '
>     FNR==1 {print; next}
>     FNR==2 {rec=$0; m[$1]=$4; next}
>     {
>         if ($1 in m) {
>             if ($4 < m[$1]) {
>                 rec=$0
>                 m[$1]=$4
>             }
>         }
>         else {
>             print rec
>             rec=$0
>             m[$1]=$4
>         }
>     }
> END {
>     print rec
> }' file
ID,y,z,p-value
1,a,b,1.2e-10
2,c,d,3e-7
3,e,f,2e-8

检查一下,如果您有任何问题,请告诉我。

【讨论】:

  • 非常感谢您的帮助。但这不是 E-8 或 E-10。所以这只处理下面的值......我认为我们需要添加-g? ``` ID,y,z,p 值 1,a,b,0.22 2,c,d,0.06 2,c,d,0.003 3,e,f,0.002 3,e,f,1.0 ```
  • 当你说 “不阅读 E-8 或 E-10”时,我有点困惑 当我违反你的路线时,我得到了 1,a,b,0.22 2,c,d,0.003 3,e,f,0.002 的返回(如看起来应该是??)您是指单独的"E-8"而不是1.xxE-8吗? cmets 中的文本周围也只有一个 ` 以突出显示为代码 :)
  • 感谢您的快速回复。原始文件如下。 ` ID,y,z,p 值 1,a,b,0.22 1,a,b,5e-10 1,a,b,1.2e-10 2,c,d,0.06 2,c,d,0.003 2,c,d,3e-7 3,e,f,0.002 3,e,f,2e-8 3,e,f,1.0 `我试过你教我的代码,但结果如下... ` ID,y,z,p-value 1,a,b,0.22 2,c,d,0.003 3,e,f,0.002 ` 我想得到如下结果。 ` ID,y,z,p 值 1,a,b,1.2e-10 2,c,d,3e-7 3,e,f,2e-8 `
  • 如果你在 Linux 上,一个快速的测试是复制你问题中的文本,然后在终端 cat &lt;&lt; EOF &gt; datafile 按回车键并将文本粘贴到终端中。然后在第一个空白行输入EOF 并按回车键。这将创建要使用的文件的正确 ASCII 版本。现在针对datafile 运行awk 命令。如果你在 Win10 中使用 WSL——那也可以。您无法使用 Windows 编辑器保存(除非您更改了默认行尾并选择 UTF-8 作为字符集 - 选择 ASCII 更安全)
  • 参见:how to convert dos windows newline crlf to unix newline 和 HTML Encoding (Character Sets) em-dash 和 en-dash。还有Format-Hex如果在windows上。
【解决方案2】:

一种非awk 的方法,使用GNU datamash:

$ datamash -H -f -t, -g1 min 4 < input.txt | cut -d, -f1-4
ID,y,z,p-value
1,a,b,1.2e-10
2,c,d,3e-7
3,e,f,2e-8

(需要cut,因为使用-f 选项datamash 添加了第五列,它是第四列的副本;没有它,它只会显示第一列和第四列的值。轻微的烦恼。)

这确实要求您的数据在第一列上排序,就像在您的示例中一样。

【讨论】:

    猜你喜欢
    • 2021-07-23
    • 1970-01-01
    • 2014-01-21
    • 1970-01-01
    • 2021-11-27
    • 1970-01-01
    • 2021-09-09
    • 1970-01-01
    • 2021-10-03
    相关资源
    最近更新 更多