如何看待 Nature《科学家们起来反对统计显著性》一文，对统计意义的误解源头真的是 p 值吗？

不自量力的回答一下吧，我本业是临床医学，所以从医学方面讲一点自己的理解。

p<0.05的0.05是什么东西？

这个0.05是1类错误的概率。

1类和2类错误的定义倒是不难：

比如说我已经知道数据X的总体符合 $N(\mu,\sigma)$ 的正态分布，那当我设置好两个临界值（x1和x2）的时候，如果我们认为，现在变量X的值落在x1到x2，我们就接受假设（相当于上面1，2类错误矩阵的第二行）；而如果变量X的值落在x1左边，或者x2右边，我们就拒绝假设（相当于上面1，2类错误矩阵的第1行）。

那么接下来根据正态分布的概率分布曲线（pdf），我们可以求出来x1到x2之间pdf下方的面积有多少；以及x1和x2之外的pdf下面积有多少。这个x1和x2之外的面积代表的就是1类错误的概率，也就是我们说的p值。可能举一个瞎扯的例子能帮助说明一下。

比如说我已经知道成年男性的某个血生化指标（我们就叫它男性肾上腺素开，serum epinephrine chi， $se\chi$ 吧）。我们已经知道普遍来说，成年男性的 $se\chi$ 均值是10 ng/dl，标准差是2 ng/dl。现在我们在某个社区抽样了50位男性，测了一下他们的 $se\chi$ 水平，这50位成年男性的 $se\chi$ 平均值是7 ng/dl。所以说这组样本是否来自符合普遍情况的男性群体呢？或者说，这个样本的 $se\chi$ 水平是不是有点不符合正常？能不能够在某个置信区间（95%）或者检测水平（ $\alpha=0.05$ )下一个结论？

所以这个时候要做出判断的流程无非就是下面5步：

1. 确定H0和H1. 这里H0就是样本来源的总体，均值 $\mu=\mu_0$ , $\mu_0=10$ 这相当于给我们增加了一个条件。检验水平 $\alpha=0.05$

2. 确定统计值。样本量50，而且没有明显证据说明 $se\chi$ 是偏态分布，可以考虑样本均值 $\bar{x}符合N(\mu,\frac{\sigma}{n})$ ,用正态分布的z值作统计值 $z=\frac{\bar{x}-\mu_0}{\frac{\sigma}{\sqrt{n}}}$

3. 确定判断标准。作双侧检验，可以查出来z大概是正负1.96的时候两个z内侧pdf下面积是0.95，外侧是0.05，符合我们的要求。

4. 计算统计值, z是-10.6

5. -10.6比-1.96小，因此拒绝H0，接受H1，认为样本不来自正常总体，该社区男性 $se\chi$ 值偏离正常。

所以当检测水平alpha确认了以后，与之相对的，统计值的阈值就定下来了，之后就是计算统计值，拿算出来的统计值和阈值比较，决定是否拒绝零假设，接受备择假设。这一套流程里面，检测水平这个alpha肯定是要有的，而alpha所代表的就是两个阈值以外（这是指双侧检验的时候，为了图方便这个回答都会假定我们做的是双侧检验）的面积，也就是1类错误的概率。

所以简单来说，没有检验水平 $\alpha$ 这个东西，假设检验的5步流程就走不动，也就是没得玩了。

p=0.0245就比p=0.0255好那么多么？

其实上面一段还是没有讲到什么是p值，回到刚才男性 $se\chi$ 值那个例子，当我们算出来统计值z=-10.6的时候，我们除了可以知道-10.6<-1.96，我们还可以计算出实际的p值，比如在excel里面使用公式：`=NORM.S.DIST(-10.6,1)`，计算出来的p值是1.38x10e-26。这个p值是什么东西呢？它指的是z<=-10.6这个区域里，标准正态分布曲线下面的面积是多少；或者说标准正态曲线从负无穷到-10.6的积分。顺带一提`=NORM.S.DIST(-1.96,1)`求出来的是0.025。

而回到“p=0.049就比p=0.051好那么多么？”这个问题，用excel算一下就知道，在双侧检验的时候，=NORM.S.INV(0.0245)可以求出 p值是0.0245的时候（0.49/2)，z值是-1.968，而用=NORM.S.INV(0.0255)可以求出p值是0.0255的时候（0.51/2)，z值是-1.951。也就是说，z值仅仅只是增加了0.017，统计结果就从可以拒绝零假设（因为这个时候p是0.0245，小于双侧检验时候的0.025）, 变成了不能拒绝。如果我们把z往样本平均值换算一下的话，这个时候样本平均值仅仅只是增加了 $0.017 \times \frac{\sigma}{\sqrt{n}}$ 而已，在我们这个例子里，实际上只需要样本平均值增加个0.0048 ng/dl就能产生这样的差异了，这显然不是很ok。所以大家声讨二分法，主要应该还是在吐槽这个点。

其他一些自己的想法

实际上现在只是讲了1类错误，2类错误还完全没有涉及呢。2类错误从矩阵可以看到，指的就是原本有问题，但是我们发现不了这个问题的概率。举个例子说一下：

这个例子是从数理统计初级教程抄过来的：

一台机器，平均每袋装2kg材料，标准差是0.2kg。管理人员想检查一下机器有没有故障，所以随机抽取了64个袋子称取重量。并且事先决定，如果平均每个容器装材料质量在1.95kg或者2.05kg之间则接受假设。
假定机器实际上需要修理，并且每个袋子平均装入的是1.94 kg材料，标准差是0.14 kg，在现在的判定标准下，管理人员犯第二类错误的概率是多少？这个检验的功效是多少？

在这个问题里面，如果机器是正常的话，那么64袋材料的重量平均值是符合蓝色直方图这种分布的。于是可以根据中值极限定理算出来设定好1.95和2.05两个阈值以后I类错误概率是多少。但是对于2类错误的计算，显然还需要知道什么是错误的。在这个例子里面我们认为出故障的机器具有平均值是1.94，标准差是0.14的特性。根据这两个参数我们可以画出来橙色的直方图，然后再算一下1.95到2.05之间橙色直方图的面积有多少，就可以算出来2类错误的概率了。

如果说1类错误的概率是假阳性的话，2类错误的概率就是假阴性了。但是感觉上，至少在临床研究里面，2类错误是很少被提到的。1类错误的下游，是大名鼎鼎的检测水平alpha以及与之对应的p值；与之相比2类错误显得有些默默无闻。当然我不是统计专业的，所以难免孤陋寡闻。

从原因上来说，可能贝叶斯条件概率理论会有一些提示作用吧。

比如说一个雷达，在天空有飞机飞过（天空有飞机飞过的概率是0.05)的时候，检测到的概率是 $P(B|A)$ 95%（检验功效，也就是1减去2类错误概率）；而没有飞机飞过的时候（天空没有飞机飞过的概率是1-0.05=0.95)，发出“有飞机飞过！！”信号的概率是 $P(B|A^C)$ 10%（1类错误概率）。那么，当这个雷达提示天空有飞机飞过的时候，实际上真的有飞机飞过的概率是多少（ $P(A|B)$ ）?

用图片来表示是这样的：

这个图的右侧和1类2类错误矩阵看起来好像不大一致对吧？上面的1/2类错误矩阵是用在假设检验的时候(一个统计学假设检验，能够拒绝零假设，我们认为这个统计检验是阳性的，所以在上面的矩阵图里，拒绝才是阳性；而H0实际上不是我们要检测的结果，H1才是我们想要的结果）；而这个图的右侧呢，雷达有个小白点我们就认为是阳性了，不需要再走H0，H1那一套。
所以有那么点绕，总体来说用假阳性和假阴性去理解往往会更容易理解一些。在统计检验来说，如果H0本身是成立的（属于阴性），但是我们却拒绝了H0，接受了H1（检出阳性）于是出现了假阳性；而在上面飞机和雷达的例子里面，飞机没有飞过才属于阴性，而如果我们雷达出现了信号，认为有飞机飞过（检出阳性），这个时候才是假阳性。但不管怎样，假阳性都是1类错误，假阴性都是二类错误，1-假阴性就是检出效力。
说实话我自己都有点晕，所以如果有错误的地方，务必帮忙指出。

因为 $P(A|B)=\frac{P(A) \times P(B|A)}{P(B)}=\frac{P(A) \times P(B|A)}{P(B|A)*P(A)+P(B|A^c)*P(A^c)}$

也可以表示为：

$\frac{事件发生概率 \times 检验效力}{检验效力*事件发生概率+1类错误*（1-事件发生概率）}$

用贝叶斯条件概率理论一顿乱算，最后可以得出来雷达提示天空有飞机飞过，实际上真的有飞机飞过的概率 $P(A|B)$ 只有33%！

但是如果用常规的0.05作为检测水平，现在的 $P(A|B)$ 好一些了，到了0.5……所以这就是我们用的这么多的0.05，在面对一个5%的罕见情况，而检验功效是（1-2类错误概率）95%时候能达到的水平，一半一半而已

如果用更好的0.01，现在的P(A|B)是83.3%，而使用0.001做检测水平的时候，可以增加到98%。

至于为什么2类错误去评价的比较少呢……我觉得如果你对一个仪器的检出水平（给一个阳性样本，出不了阳性结果）都没法有信心的话，那还是买进口大厂仪器比较好吧。

综上

所以二分法看待p值肯定是不好的，0.05这个检验水平也要小心。但是p值是真的很重要。

来源：知乎 www.zhihu.com

作者：路人乙小明

【知乎日报】千万用户的选择，做朋友圈里的新鲜事分享大牛。
点击下载

此问题还有 10 个回答，查看全部。
延伸阅读：
如何看待 Nature 上刊文宣称很多科学家缺乏统计学知识？
如何看待近百位科学家联合发文回应「 p 值显著标准应降至0.005」？