元分析中使用后续失效安全测试防止误导性研究

本文档深入探讨了在教育研究领域中的荟萃分析（meta-analysis）中如何运用一种名为"follow-up fail-safe N"的后续测试来检测潜在的"推销"或偏见问题。作者Jonathan R. Brown来自纽约州立大学，他在1992年4月的《学校心理学》(fSyrhO/Ogy in the Schools)期刊上发表的文章指出，meta-analysis作为一种广泛使用的数据分析方法，近年来在科研期刊和学位论文摘要中频繁出现，超过600次。然而，尽管大多数meta-analysis的结果报告为显著，但它们往往并未充分揭示如果包括未发表的"无效应"研究（即那些结果显示没有显著影响的研究），这些结果的稳定性会受到多大影响。 作者指出，如果显著的meta-analysis结果是通过选择性样本收集而过度代表的，那么就可能存在所谓的"推销"，即由于样本选择偏差导致的结果偏向。为了帮助研究人员和实践者不进行复杂的计算就能估计meta-analysis结果的相对稳定性，作者提出了使用fail-safe N的概念。fail-safe N是一个统计指标，它表示即使排除多少个非显著结果（即"no-effect"研究），meta-analysis的主要结论依然能保持显著。 通过构建表格，作者提供了一种直观的方式来评估meta-analysis结果的可靠性，这对于确保科学研究的严谨性和透明度至关重要。他建议，在进行meta-analysis研究时，fail-safe N应该作为一种常规工具被报告，以揭露潜在的偏见并增强研究结论的可信度。因此，这篇论文不仅探讨了meta-analysis技术的应用，还强调了在实践中应用此类方法来防范研究中可能出现的操纵和误导现象的重要性。