如果计算相对拒绝频率，如何测量显着性水平是否显着不同？ （R中的常态测试）

Question

专业人士和学生，

我的显着性水平为10％，5％和1％，由于对上一个问题的回答，我已经计算出相对拒绝频率。

replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
table(replicate_sw10["p.value",]<0.10)/1000

> FALSE  TRUE 
> 0.909 0.091

但是如果我已经针对各种样本量（T = 10、30、50、100、500）执行了此操作，并通过excel手动存储了它。也许有一种更简便的方法可以在函数/列表中进行计算。

但是我如何测量它是否与显着性水平显着不同？（提示如下：可以将测试的拒绝建模为伯努利随机变量）

最诚挚的问候

Answer 1

因此，最简单的方法是..因此，如果执行1000次测试，则期望约0.1的测试的p值<0.1。就像您说过的bernoulli试验一样，您可以使用二项式检验来查看结果与您的结果一样极端的可能性：

set.seed(100)
replicate_sw10 = replicate(1000,shapiro.test(rnorm(10)))
obs_significant = sum(replicate_sw10["p.value",]<0.1)

binom.test(obs_significant,n=1000,p=0.1)

    Exact binomial test

data:  obs_significant and 1000
number of successes = 118, number of trials = 1000, p-value = 0.06479
alternative hypothesis: true probability of success is not equal to 0.1
95 percent confidence interval:
 0.09865252 0.13962772
sample estimates:
probability of success 
                 0.118