The Double-Blind Review Is What Makes Decisions Fair

The following text is a partial translation of the original English article, performed by ChatGPT (gpt-3.5-turbo) and this Jekyll plugin:

你们团队如何审查想法、项目提案或论文草稿?想象一下我是你们团队的一员,我需要为一个新项目分配预算。我撰写了一个提案,阐述了动机,评估了风险,制定了计划,然后呢?我是创建一个 PowerPoint 展示,为我的团队成员演讲半个小时,再回答他们的问题半个小时,听取他们的真实反馈,然后进行投票并做出决策吗?如果你们团队的组织方式是这样的,你们可能会扼杀创造力和动力。

在软件团队或公司中,这种相对典型的决策过程存在几个问题(其中最关键的问题列在最后):

  • 无能。无论你的队友有多么有才华,期望他们在短短三十分钟内完全理解你的提案,并以客观专业的方式进行评估,是不现实的。更有可能的是,他们会根据对你个人的感觉来做出判断。

  • 友谊。会议上的决策者是你的同事。对他们来说,提供公正和坦诚的反馈是一项挑战,因为他们不想冒着伤害朋友的风险。很少有人能同时保持诚实和友谊——这是一种罕见的品质。

  • 嫉妒。由于你正在提出一个提案,它本质上变成了一个资源竞争。你要么寻求一个项目预算,要么重新分配团队的努力。这使你与会议上的其他人产生了对立。许多参会人可能会对你的主动性感到不满,甚至下意识地试图阻挠你。

  • 恐惧。如果你今天是演讲者,明天可能会有其他人替你演讲。今天对你的想法进行批评的人,明天可能会面临相似的审查。尽管我们力求专业,但报复的冲动可能很强,使得坦诚的反馈具有风险。

考虑到这些因素,可以合理地推测,在这样的会议结束时,特别是如果决定对你不利,你可能会感到沮丧。你可能认为你的团队缺乏能力,感觉到自己的才华未被认可。最好的情况是,你决定不再提出任何新的提议。最坏的情况是,你开始寻找一个新的团队。

问题并不一定在于团队(他们都差不多),也不在于你的提议(我们都会犯错误)。问题的关键在于决策过程本身。传统的会议可能不是最佳选择。相反,我提议采取以下方法:

  • 提案直接提交给秘书;

  • 秘书随机选择三名董事会评审员;

  • 每个评审人员都会书面评估该提案;

  • 审稿人不知道作者的身份;

  • 然后他们将书面反馈提交给秘书。

  • 如果有2位以上的评审人员支持该提案,就会做出决策。

  • 秘书通知您判决结果;

  • 你不知道审查者的名字。

这种方法引入了两个重要的元素,可以增加决策的客观性,提高提案作者的满意度:匿名性和作者身份。一方面,评审人员可以提供真实的反馈意见,不必担心遭到报复,因为他们的身份保密。反过来,由于他们的反馈意见被记录下来,他们被激励保持专业和客观。不知道作者的身份可以确保决策不受个人关系的影响。

此外,这个系统可以提高提案的质量。由于作者无法在会议中口头阐述,他们被迫通过写作全面地表达自己的想法。如果秘书制定了具体的评审摘要标准,而不是模糊的评语,反馈的水平也可能会提高。

科学会议实行了非常类似的审稿机制。当你向科学会议提交一篇论文时,他们不会组织一次会议让你展示论文,试图说服他们接受你的工作。相反,他们要求你进行双盲评审,并将论文发送给几个或多或少随机选择的评审人员。当你的论文被拒绝(或接受)时,你会收到详细的拒绝理由摘要,以及如何改进的建议。如果会议水平较高,评审人员做好了他们的工作,即使被拒绝,你也会感到满意。

总之,建议的流程可以提高决策质量,增强提出想法的人的动力。即使有些建议被拒绝,他们更有可能带着更新的提案再次提交审议。

Translated by ChatGPT gpt-3.5-turbo/42 on 2023-11-28 at 14:56

sixnines availability badge   GitHub stars