在外壳的多个文件平均

问题描述 投票:5回答:3

我想计算的15个文件,平均: - ifile1.txt,ifile2.txt,.....,ifile15.txt。列和每个文件的行数相同。部分数据看起来

ifile1.txt      ifile2.txt       ifile3.txt
3  5  2  2 .    1  2  1  3 .    4  3  4  1 .
1  4  2  1 .    1  3  0  2 .    5  3  1  5 .
4  6  5  2 .    2  5  5  1 .    3  4  3  1 .
5  5  7  1 .    0  0  1  1 .    4  3  4  0 .
.  .  .  . .    .  .  .  . .    .  .  .  . .  

我想找到了一个新的文件,它会显示这15个酒坊的平均值。

ofile.txt
2.66   3.33  2.33 2      . (i.e. average of 3 1 4, average of 5 2 3 and so on)
2.33   3.33  1    2.66   .
3      5     4.33 1.33   .
3      2.33  4    0.66   .
.      .     .    .      .

我用下面的努力,但得到的错误

awk'{for (i=1; i<=NF; i++)} rows=FNR;cols=NF} END 
{for (i=1; i<=rows; i++){for (j=1; j<=cols; j++) 
s+=$i;print $0,s/NF;s=0}}' ifile* > ofile.txt
shell unix awk mean multiple-files
3个回答
5
投票

作为书面:

awk'{for (i=1; i<=NF; i++)} rows=FNR;cols=NF} END
…

你得到“命令未找到”的错误,因为你必须离开awk和引号内的脚本之间的空间。当你解决这个问题,你开始进入的问题,因为有两个}只有一个对剧本的第一行{

当你周围标本兼治,你会需要一个二维数组,由行号和列号索引,从文件中总结的值。您还需要了解处理的文件数和列数。然后,您可以安排迭代到底块中的二维数组了。

awk 'FNR == 1 { nfiles++; ncols = NF }
     { for (i = 1; i < NF; i++) sum[FNR,i] += $i
       if (FNR > maxnr) maxnr = FNR
     }
     END {
         for (line = 1; line <= maxnr; line++)
         {
             for (col = 1; col < ncols; col++)
                  printf "  %f", sum[line,col]/nfiles;
             printf "\n"
         }
     }' ifile*.txt

鉴于从问题的三个数据文件:

ifile1.txt

3 5 2 2
1 4 2 1
4 6 5 2
5 5 7 1

ifile2.txt

1 2 1 3
1 3 0 2
2 5 5 1
0 0 1 1

ifile3.txt

4 3 4 1
5 3 1 5
3 4 3 1
4 3 4 0

我发现这个脚本会产生:

  2.666667  3.333333  2.333333
  2.333333  3.333333  1.000000
  3.000000  5.000000  4.333333
  3.000000  2.666667  4.000000

如果你想控制小数点后的数字为2,然后在地方%.2f的使用%f


4
投票
$ { head -n1 ifile1.txt; paste ifile*.txt;} | awk 'NR==1{d=NF; next;} {for (i=1;i<=d;i++) {s=0; for (j=i;j<=NF;j+=d) s+=$j; printf "%.2f%s",s/(NF/d),j==NF+d?"\n":"\t";}}'
2.67    3.33    2.33    2.00
2.33    3.33    1.00    2.67
3.00    5.00    4.33    1.33
3.00    2.67    4.00    0.67

这个脚本计算每一行和移动到下一行之前打印出结果。正因为如此,该脚本并不需要一次保存在内存中的所有数据。如果数据文件很大,这是非常重要的。

How it works

  • { head -n1 ifile1.txt; paste ifile*.txt;} 这将打印只是ifile1.txt的第一道防线。然后,paste命令使打印的所有文件的第一行合并,然后在第二行合并,等等: $ paste ifile*.txt 3 5 2 2 1 2 1 3 4 3 4 1 1 4 2 1 1 3 0 2 5 3 1 5 4 6 5 2 2 5 5 1 3 4 3 1 5 5 7 1 0 0 1 1 4 3 4 0
  • | 管道符号导致上述命令的输出,以作为输入AWK被发送。解决每个反过来awk的命令:
  • NR==1{d=NF; next;} 第一行,我们保存在变量d列数。然后,我们跳过命令的休息,并开始了对输入的next线。
  • for (i=1;i<=d;i++) {s=0; for (j=i;j<=NF;j+=d) s+=$j; printf "%.2f%s",s/(NF/d),j==NF+d?"\n":"\t";} 这从各个文件加起来的数字,并打印平均值。

As a multiline script:

{
    head -n1 ifile1.txt
    paste ifile*.txt
} | 
awk '
    NR==1 {d=NF; next;}

    {
        for (i=1;i<=d;i++)
        {
            s=0; for (j=i;j<=NF;j+=d)
                s+=$j;
            printf "%.2f%s",s/(NF/d),j==NF+d?"\n":"\t";
        }
    }

3
投票

你需要的字段保存将总和,当你正在阅读的原始文件的数组。您不能访问在$0iEND,因为没有输入线即可。

awk '{rows=FNR; cols=NF; for (i = 1; i <= NF; i++) { total[FNR, i] += $i }}
     FILENAME != lastfn { count++; lastfn = FILENAME }
     END { for (i = 1; i <= rows; i++) { 
                for (j =  1; j <= cols; j++) {
                    printf("%s ", total[i, j]/count)
                }
                printf("\n")
            }
        }' ifile* > ofile.txt
© www.soinside.com 2019 - 2024. All rights reserved.