在学术研究中，统计学是一个必不可少的工具，它帮助研究人员从数据中找出有意义的结论。而P值（P-value）作为统计学中的重要指标，被广泛用于判断研究结果的显著性。不过，随着科研竞争的加剧，一些研究人员开始滥用P值，通过所谓的“P值黑客”（P-hacking）来制造看似显著的结果。这种做法不仅破坏了科学研究的可信度，还误导了学术界和公众对研究结果的理解。
什么是P值？
我们在往期内容专门解释过，感兴趣的小伙伴可以看看《什么是P值？科研人员应该注意哪些事项》这篇文章。
简单说，P值表示在假设（通常是“无效假设”或“零假设”）为真的情况下，观察到的数据或更极端的数据出现的概率。如果P值很小，通常意味着观察到的数据与假设之间有显著差异，研究人员可能会拒绝零假设。
如何计算P值？
P值的计算基于特定的统计检验方法，比如t检验、卡方检验或ANOVA等。研究人员首先提出一个零假设（比如“治疗无效”），然后通过数据分析计算出一个统计量，并通过统计分布计算出对应的P值。
P值的应用及其局限性
P值在科研中的广泛应用使其成为判断研究结果显著性的主要标准。例如，在医学研究中，P值常用于判断新药物是否比现有治疗方法更有效。如果P值小于0.05，研究人员通常会认为新药物具有显著疗效，从而推动其进入下一阶段的临床试验。
然而，P值也有其局限性。一项发表于Science的研究指出，许多心理学实验无法重复，其背后的一个主要原因是对P值的过度依赖。研究发现，在100个经典心理学实验中，只有39%的实验结果可以被重复验证，这反映了P值在评估研究结果方面的局限性。
此外，P值受样本大小的影响较大。在小样本量的情况下，即使是完全随机的数据也可能产生显著的P值。这意味着在样本量过小的情况下，P值可能会导致假阴性结果，即研究结果虽然有意义但P值不显著；而在样本量过大的情况下，P值可能会导致假阳性结果，即研究结果看似显著但实际上无关紧要。
你也可以看看我们之前的这篇文章《统计显著性(P＜0.05)真的那么可靠吗？》。
可能有的读者读到这里可能有点懵，不是说P值黑客吗？怎么说了这么多关于P值和局限性的问题呢？我们在谈接下来的主题前，一定要了解这些P值的背景，这样才能搞明白P值黑客的“作案动机“。
好吧，接下来我们步入正题。
什么是P值黑客?
P值黑客是指研究人员通过操控数据分析过程，以人为方式使P值达到显著水平（通常是P < 0.05）。其目的是使研究结果看起来具有统计学显著性，即使实际情况并非如此。P值黑客可以通过多种手段实现，比如选择性地报告数据、调整样本量、重复试验等。
P值黑客的“作案动机“
研究人员进行P值黑客的动机多种多样。首先，发表压力是一个重要因素。“不发表就毁灭“的问题，我们在往期也谈过，而且学术期刊通常倾向于发表具有显著性结果的研究，而P值不显著的研究则更难被接受。一边是发表压力山大，一边是数据不够“美观”，怎么办？有些人就不得不“调整”他们的研究结果以达到发表要求。
其次，科研经费和职业发展也与研究结果的显著性密切相关。显著性结果更容易获得资助，研究人员的职业晋升也可能因此受益。一项在PNAS上发表的研究指出，发表在顶级期刊上的显著性研究结果更有可能获得后续的科研经费支持。
P值黑客的常见手段
P值黑客可以通过多种手段实现，包括但不限于以下几种：
- 选择性报告：只报告显著性结果，而忽略不显著的结果。
- 数据筛选：通过排除某些数据点，调整分析方法，以达到显著性。比如，有些研究人员会剔除“异常值”，以便使结果看起来更为显著。
- 多次试验：进行多次试验，直到得到显著性结果为止。这种方法被称为“数据钓鱼”（data fishing）或“数据淘金”（data dredging）。一项分析发现，多次重复实验直到得到显著结果的行为在生物医学研究中相当普遍。
- 调整样本量：在试验过程中不断增加样本量，直到P值达到显著性水平。。
- 数据操作：对数据进行重新编码或分类，以获得显著性结果。例如，将连续变量重新分类为分类变量，或者将数据分组进行多次比较，直到得到显著结果。
这些P值黑客的手段不仅破坏了科学研究的真实性，还可能对科学界和公众造成长期的负面影响。
P值黑客的影响
对研究结果的影响
P值黑客直接影响了研究结果的可靠性。通过操控数据分析过程，研究人员可以人为制造显著性结果，从而导致虚假结论的产生。这不仅浪费了研究资源，还可能误导后续研究和应用。例如，药物研究中的P值黑客可能导致无效或有害的药物被误认为有效，从而对患者健康造成威胁。
对科学研究的信任
P值黑客对科学研究的整体信任度产生了负面影响。当研究结果的显著性不再可靠，学术界和公众对科学研究的信任度也会随之下降。这种不信任不仅影响了科学研究的声誉，也阻碍了科学知识的传播和应用。
如何杜绝P值黑客行为？
增强研究透明度
增强研究的透明度是防止P值黑客的有效手段之一。研究人员应当在研究设计、数据收集和分析过程中保持透明，公开所有数据和分析步骤，以便其他研究人员进行验证。
预注册和注册报告
预注册（Preregistration）是指在研究开始前，研究人员将研究设计、假设和分析方法公开注册。这一过程有助于防止研究人员在数据分析过程中进行操控。注册报告（Registered Reports）则是期刊在研究开始前对研究设计和方法进行评审，保证研究过程的规范性。
强调效应大小和可信区间
除了P值，研究人员还应关注效应大小（effect size）和可信区间（confidence interval）。效应大小能够衡量结果的实际意义，而可信区间则提供了结果的可靠范围。通过综合考虑P值、效应大小和可信区间，可以更全面地评估研究结果的显著性和可靠性。
教育和培训
提高研究人员的统计学素养和科研伦理意识是防止P值黑客的根本途径。学术机构和科研单位应加强对研究人员的教育和培训，强调科学研究的诚信和严谨性。
最后
卡尔·萨根曾说“科学的伟大之处在于它既告诉我们真理，也揭示了谬误”。P值黑客的问题提醒我们，科学研究的可靠性和真实性至关重要。为了维护科学的纯粹性和可信度，我们需要采取一些措施，真正杜绝P值黑客的行为。
