使用bc或其他标准实用程序的任意数量的标准偏差

Question

是否有一些技巧可以让人们使用bc（或其他一些标准实用程序）来返回任意数量的数字的标准偏差？为方便起见，假设数字以下列方式存储在Bash变量中：

myNumbers="0.556
1.456
45.111
7.812
5.001"

所以，我正在寻找的答案将采用如下形式：

standardDeviation="$(echo "${myNumbers}" | <insert magic here>)"

Answer 1

使用awk：

standardDeviation=$(
    echo "$myNumbers" |
        awk '{sum+=$1; sumsq+=$1*$1}END{print sqrt(sumsq/NR - (sum/NR)**2)}'
)
echo $standardDeviation

使用perl：

#!/usr/bin/env perl

use strict; use warnings;
use Math::NumberCruncher;

my @data = qw/
    0.556
    1.456
    45.111
    7.812
    5.001
/;

print Math::NumberCruncher::StandardDeviation(\@data);

产量

16.7631

Answer 2

人口标准差：

jq -s '(add/length)as$a|map(pow(.-$a;2))|add/length|sqrt'
ruby -e'a=readlines.map(&:to_f);puts (a.map{|x|(x-a.reduce(:+)/a.length)**2}.reduce(:+)/a.length)**0.5'
jq -s '(map(.*.)|add/length)-pow(add/length;2)|sqrt'
awk '{x+=$0;y+=$0^2}END{print sqrt(y/NR-(x/NR)^2)}'

在awk，^在POSIX，但**不在。 **由gawk和nawk支持，但不是由mawk支持。

样本标准差（前两个命令与上面的前两个命令相同，但length替换为length-1）：

jq -s '(add/length)as$a|map(pow(.-$a;2))|add/(length-1)|sqrt'
ruby -e'a=readlines.map(&:to_f);puts (a.map{|x|(x-a.reduce(:+)/a.length)**2}.reduce(:+)/(a.length-1))**0.5'
R -q -e 'sd(scan("stdin"))'

Answer 3

或者使用GNU Octave（它可以比简单的std更多）：

standardDeviation="$(echo "${myNumbers}" | octave --eval 'disp(std(scanf("%f")))')"
echo $standardDeviation

输出

18.742

Answer 4

鉴于：

$ myNumbers=$(echo "0.556 1.456 45.111 7.812 5.001" | tr " " "\n")

首先决定你是否需要这些数字的sample standard deviation和population standard deviation。

人口标准差（Excel中的函数STDEV.P）需要整个人口数据。在Excel中，将跳过文本或空格。

它很容易在awk中滚动计算：

$ echo "$myNumbers" | awk '$1+0==$1 {sum+=$1; sumsq+=$1*$1; cnt++}
                           END{print sumsq/cnt; print sqrt(sumsq/cnt - (sum/cnt)**2)}'
16.7631

或者在Ruby：

$ echo "$myNumbers" | ruby -e 'arr=$<.read.split(/\s/).map { |e| Float(e) rescue nil }.compact
                             sumsq=arr.inject(0) { |acc, e| acc+=e*e }
                             p (sumsq/arr.length - (arr.sum/arr.length)**2)**0.5'
16.76307799182477

对于样本标准偏差（Excel中的函数STDEV.S并忽略文本或空白）您需要首先收集整个样本，因为对样本中的每个值使用均值。

在awk：

$ echo "$myNumbers" | 
     awk 'function sdev(array) {
     for (i=1; i in array; i++)
        sum+=array[i]
     cnt=i-1
     mean=sum/cnt
     for (i=1; i in array; i++)  
        sqdif+=(array[i]-mean)**2
     return (sqdif/(cnt-1))**0.5
     }
     $1+0==$1 {sum1[++cnt]=$1} 
     END {print sdev(sum1)}' 
18.7417

或者在Ruby中：

$ ruby -lane 'BEGIN{col1=[]}
            col1 << Float($F[0]) rescue nil
            END {col1.compact
                 mean=col1.sum / col1.length
                 p (col1.inject(0){ |acc, e| acc+(e-mean)**2 } / 
                        (col1.length-1))**0.5
              }' <(echo "$myNumbers")
18.741690950925424