linux下操作文件以分隔符切割并去重

文件格式

如何过滤一下IP地址，并去重

ip - 时间 - 内容
ip2 -时间 - 内容
ip3 -时间 - 内容
ip4 -时间 - 内容
ip5 -时间 - 内容 
...

code

cat access.log |awk -F '-' '{print $1}'|sort|uniq

释义

• cat file // 输出全文件
• awk -F 'seprator' // 指定分隔符切割
• '{print $1}' //只输出切割后的第一个值
• sort //对内容排序
• uniq // 相邻行去掉重复

效果