我有以下文件:
ab=5
ac=6
ad=5
ba=5
bc=7
bd=4
ca=5
cb=7
cd=3
...
“ab”和“ba”,“ac”和“ca”,“bc”和“cb”是多余的。如何在bash中消除这些冗余行?
预期产量:
ab=5
ac=6
ad=5
bc=7
bd=4
cd=3
$ awk '{x=substr($0,1,1); y=substr($0,2,1)} !seen[x>y?x y:y x]++' file
ab=5
ac=6
ad=5
bc=7
bd=4
cd=3
短awk
解决方案:
awk '{ c1=substr($0,1,1); c2=substr($0,2,1) }!a[c1 c2]++ && !((c2 c1) in a)' file
c1=substr($0,1,1)
- 将提取的第一个字符分配给变量c1
c2=substr($0,2,1)
- 将提取的第二个字符分配给变量c2
!a[c1 c2]++ && !((c2 c1) in a)
- 基于“相似”2字符序列之间互斥的关键条件输出:
ab=5
ac=6
ad=5
bc=7
bd=4
cd=3
这里有一个perl
,通用解决方案,无论=
之前的字符数是多少
$ cat ip.txt
ab=5
ac=6
abd=51
ba=5
bad=23
bc=7
bd=4
ca=5
cb=7
cd=3
$ perl -F= -lane 'print if !$seen{join "",sort split//,$F[0]}++' ip.txt
ab=5
ac=6
abd=51
bc=7
bd=4
cd=3
awk
一样,默认情况下未初始化的变量评估为false
-F=
使用=
作为字段分隔符,结果保存在@F
数组中$F[0]
将给出第一个字段,即=
之前的字符split//,$F[0]
将给出具有单个字符的数组sort
默认情况下会进行字符串排序join ""
将从已排序的字符中形成单个字符串,并将空字符串作为分隔符-lane
选项的文档,请参阅-F
。使用-i
进行就地编辑你可以尝试下面,让我知道,如果这对你有帮助,我已经用GNU awk
编写并测试了它。
awk -F'=' '{
split($1,array,"")}
!((array[1],array[2]) in a){
a[array[1],array[2]];
a[array[2],array[1]];
print;
next
}
!((array[2],array[1]) in a){
a[array[1],array[2]];
a[array[2],array[1]];
print;
}
' Input_file
输出如下。
ab=5
ac=6
ad=5
bc=7
bd=4
cd=3