跳到主要内容

同行评审导致死亡

我最近有机会给一位正在考虑从工业界转向学术界的朋友提供一些建议我的一个重要建议是要记住,学术界的成功(或失败)主要基于同行评审 - 计划委员会,提案审查小组,权属委员会虽然同行评审有很多好处,但也可能非常随意,令人沮丧作为一种学术手段,生活是一种同行评审的决定,在很多情况下,这些决定根本就不是正确的过了一会儿,一系列半随机决定可能会在心理上消耗殆尽。

From http://www.michaeleisen.org/blog/?p=1778是的,我拥有这件T恤。
The law of large numbers certainly applies here如果有足够的迭代次数,最好的作品最终会被发布和资助好的研究人员最终得到了他们的论文同行评审反馈可以非常有助于完善一项工作并随着时间的推移进行改进但在绝大多数情况下,论文或提案,无论是最终被接受还是被拒绝,都会获得广泛的分数 - 即使是一篇优秀的论文也很难获得所有“接受”的评论。纸张是否被接受通常取决于审稿人是谁,他们是否在PC会议中有足够的咖啡,他们是否有足够的信心来支持工作,等等超过一定的门槛,工作的客观价值与结果无关。

这种情况可能会非常糟糕。 NSF提案审核从历史上看,这是非常随意的,部分原因是因为NSF的利益冲突政策阻止任何可能真正成为该领域专家的人审查您的工作(除非他们忘记提交自己的提案)我多次提交了大致相同的NSF提案,并且得分大不相同My best proposal never got funded; my worst proposal actually did.

要清楚, 我们也在谷歌使用同行评审,尤其是促销等我曾在很多促销委员会任职,我可以告诉你,它可以像一个会议计划委员会一样随意让四个人进入一个房间,他们将对给定的候选人有四种不同的意见So I don't think this problem is specific to the academic peer review process.

But I want to contrast the peer-review process with the "industry process." At least at Google, I feel that hard work is generally rewarded if it has impact and leads to good products我的期望是大多数公司也是如此而不是一个项目的成功或失败归咎于可怕的评论者#3,而是归结为团队执行,瞄准正确的市场和吸引用户的能力。

当然,由于计划委员会的反复无常,这些因素中的许多因素都不在团队工程师的控制之内但是,我相信行业流程是 更不随意是的,项目可以(并且确实)被更高级别的管理层取消出于各种原因,我个人取消了我的团队项目但在大多数情况下,取消项目的原因是经过认真审议后,以及对团队有既得利益的人即使决定最终错了,至少这是一个决定 说得通- 不是每当你向随机委员会提交论文或提案时你所面临的诽谤。

Do companies make bad decisions? AbsolutelyAre decisions made that I personally disagree with? Of courseDo I have to work for a company that continually makes bad decisions that I don't agree with? Hell no我更倾向于面对一个我信任和赞同的原则性领导组织的机会,而不是一个匿名审稿人的特别集合。

虽然我对如何改进同行评审过程有很多想法,但我并不认为我们应该完全放弃它对于学术界需要评估的大多数事情,我不知道更好的模型但是,有抱负的学者应该在多大程度上取决于这个过程的纯粹随机性行业仍然是一种游戏,但它是一种不同类型的游戏,我认为这种游戏往往更加理性。

评论

  1. Matt, you wrote, "But aspiring academics should [know] how much of your success hinges on the purely stochastic nature of the process." Just curious, what is your definition of academic success (and failure)? And what is your definition of non-academic, professional success (and failure)? It might be useful to define these terms before debating about the extent to which "the process" affects the outcomes.

    答复删除
    回复
    1. 是不是很明显,至少对于学术案例?

      我相信Matt会为这个特定的帖子提供观众。

      特别是,几乎每个想要学术生涯的人都想要学术自由不幸的是,长期拥有这个权利的唯一方法是获得终身职位(*),并且为了有自由承担比单个人更大的项目可以处理你需要和研究补助金赠款是基于直接同行评审制定的,并且(据称)基于出版记录的权属决策是许多同行评审决定的集合。因此这篇文章。

      Again, everything in the preceding paragraph should be pretty obvious and isn't nearly as clever as that t-shirt, which I am now lusting after.

      (*)我认为外部研究生的毕业生实际上比任何教授都有更多的自由 - 但只有几年。

      删除
  2. NIPS实验支持您所说的一切。
    http://blog.mrtz.org/2014/12/15/the-nips-experiment.html

    答复删除
  3. >而不是一个项目的成功或失败归咎于可怕的审稿人#3,它取决于团队执行,瞄准正确的市场和吸引用户的能力。

    这在行业中是广泛的,特别是在宏观层面,因为企业的生存依赖于它。

    有了这个说“评论家#3”仍然出现在公司(特别是与孤立的orgs),他们只是被称为“刺激性的X的副总裁”或“Obstructionist经理#555”。

    军方对这些人有一个可爱的名词:“蓝色猎鹰”这个词的词源留给读者一个练习。

    答复删除
  4. 马特 -

    在这篇文章中我有很多同意的事情Peer review does appear to be a semi-random process, where the bias may be in the right direction (we both appear to think that it is), so over longer time scales the law of large numbers applies, but over shorter time scales the results can be frustrating(不幸的是,对于许多研究生甚至是年轻的教师来说,短时间范围非常重要。)

    Where I think I'd disagree is where you say: "However, I believe the industry process is far less arbitrary." And I'm afraid I don't think you really back up that statement with any actual evidence(作为一个对立面,微软硅谷研究院的人们发现微软决定关闭他们的实验室并解雇几乎所有人都是武断的。)

    您可能正在经历自己的个人选择偏见谷歌似乎(对于我们这些外部人士而言)是一家经营良好且长期成功的公司但这可能不是一个永久性条件,当然,许多公司的情况都不那么令人愉快。

    因此,我很高兴地同意同行评审的各个方面都令人沮丧,当然我的评论我认为不仅是误导,而且是无知和错误的行业确实是一种不同类型的游戏,但我不相信我们可以将其归结为更高的合理性。

    答复删除
    回复
    1. 作为随机性专家,我对你的意见最尊重尽管如此,我认为在撰写论文评论和制定公司决策(如关闭研究实验室)之间的护理数量之间存在巨大且可衡量的差异。

      While I can certainly imagine some companies treating major decisions as capriciously as the proverbial Reviewer #3 ("There's nothing novel about this work", "I don't understand why you did X instead of Y", etc.), I think you would agree that such a cavalier approach to corporate decision-making would not, in general, be a recipe for success.

      我希望你不要试图将微软关闭其硅谷实验室的决定等同于我所看到的*我曾经服过的每台PC上的论文中的废话决定*I'm sure that the people affected by that closure were not happy about it, but I am willing to bet good money that the decision was made far more deliberately, and with much greater care, than the sloppy, mostly shoot-from-the-hip approach taken by a large majority of program committee members.

      诚然,我很幸运能够在一家稳定的公司工作,并在稳定的产品团队中工作If I were to join an early-stage startup, or even a new project team at Google, then my career would be subject to vastly different pressures in terms of raising funding, hiring good people, settling on the right product direction, and generally just being luckyIn such a case, I'd agree that the degree of entropy would be much higher than the relatively stable situation I find myself in now我仍然声称那些随机性的来源在质量上与学术同行评审的过程不同,但也许我们可以同意存在同样多的不确定性。

      删除
  5. 好帖子。
    在纸质评论中,审稿人存在利益冲突,除非他们从未提交过该期刊或会议。
    因为每个人都在争夺一个有限的位置,SIGCOMM只能接受20篇论文,期刊接受15-20等。
    因此,拒绝别人的论文是一个很好的策略,不幸的是,有很多人这样做。
    另一个腐败是,在许多CS期刊中,一些副编辑总是在那里发表他们的论文,而不是在同一领域的其他期刊上这有多道德?

    “利益冲突”的定义不起作用一个人不能复习他大学的论文,但可以在你的期刊上发表论文,或者为你的论文挑选那些从事挑剔的审稿人,以及针对反对论文的严厉审稿人这是当今学术界广泛接受的做法这有多恶心?

    在公司案例中,如果项目获得批准,则没有人存在利益冲突,除非公司的项目预算有限可能像谷歌这样的公司更灵活,因为资金不是那么大的问题。
    这可能就是为什么,公司本质上不那么随意,不是因为他们是好撒玛利亚人。

    答复删除
    回复
    1. 虽然你原则上是正确的,但我不确定这种利益冲突在实践中发挥了多少作用PC成员似乎极不可能以一种有利于他们自己的方式影响其他论文的结果(尽管这可能不会阻止他们尝试)无论如何,这是一个有趣的观点,但我没有关于这是多么有问题的数据。

      删除
  6. 在某些方面,(至少在表面上)许多教授将他们的同行评审委托给他们(通常更理想化)的研究生是一个事实,这是系统的一个特征,而不是一个bug这很有意思,因为它通常被认为是消极的,但实际上为这个过程的新颖性增加了一个非常需要的元素。

    答复删除
  7. Another factor is that for really novel work a lot of the mathematics has not been refined yet通过一些变化,可以更容易地获得已经发布并且已经发展了几十年的内容一些全新的东西当然不会是完美的,评论家可以借此作为借口。

    答复删除
  8. 一个问题是审稿人拒绝提交,认为他们的一些赞成文件没有被引用这太烦人了。

    答复删除
  9. 工业是巨大的,有许多更理性和更不理性的过程的例子。

    例如,专门针对拨款提案进行缩放,可以将其与特定公司的创业资金进行比较That's just as random, if not more random, than NSF panel recommendations: the outcome of your case will similarly be influenced by whether the reviewers had coffee in the morning, by the order in which they see the proposals, by how combative they are feeling on any particular day, and by two dozen other factors over which you have no control whatsoever在一个组织内,推动一个新项目在某些环境中可能很简单,但在其他环境中却非常困难在一个运营良好的组织中,您可能知道大多数规则并且批准过程对您来说是非随机的但是,在许多组织中,您几乎无法了解项目被提取的原因实际上,大多数组织都会默认不让你提出需要大量资金承诺的风险项目:)。

    你提出一个有趣的观点,即在行业中,决策是由那些对工作产生既得利益的人做出的这是真的,但是,可以说,NSF的决定是由NSF的代表做出的,他们希望对他们整体计划的成功有既得利益,而不是仅向NSF提供建议的专家组成员。在行业中,类似地,决策者会有很多顾问,并且会依赖于他们建议的质量 - 与NSF采取的方法没有实际的程序差异行业环境中的建议质量也存在实际问题Major one being: it is often hard, if not impossible, to find people who are both knowledgeable and unbiased毕竟,整个公司战略咨询行业都存在解决这个问题的方法:为高级公司决策者提供[最有可能]勤奋,[希望]无偏见,[至少在某种程度上]知识渊博的顾问总的来说,我确实同意主要的公司决策比NSF的资金决策更加勤奋我不确定这种努力必然会转化为更好的决策以MSR SV实验室闭包为例微软绝对花费了大量的时间和精力来调查是否这样做最后,最终的结果是基于现实的预测,有偏见的观点还是硬币翻转,我们永远不会知道。

    顺便说一句,我认为当前的企业决策过程是网络系统人员现在可以真正发挥作用的地方There are control and communication networks underlying all these issues that I have not seen anybody study with any kind of rigor (I may not be fully up to date on all the relevant literature though) -- and this is where there is tremendous impact to be had from improving things just a little tiny bit.

    答复删除

发表评论

此博客的热门帖子

我为什么要离开哈佛

我已经决定辞去我在哈佛大学的终身教职,留在谷歌显然,这将是我职业生涯中的一个重大变化,也是我在过去几个月中花费了大量时间考虑的事情。

我不应该让谣言传播我的举动的原因,我认为我应该非常直接地解释我的想法。

我首先要说的是,由于哈佛问题,我不会离开相反,我喜欢哈佛,并会很想念它计算机科学系是绝对一流的,学生是教授希望与之合作的最佳人选这是一个梦幻般的环境,非常支持,并且有很多优秀的人才。 他们疯狂到足以让我任职我现在离开时感到内疚我加入了哈佛,因为它提供了一个机会,可以对一所重要学校的一个重要部门产生重大影响,而且我对八年前去那里的决定感到无比遗憾。但是......

在Go中重写大型生产系统

我在谷歌的团队正在努力重建一个大型生产系统(几乎) 我说“差不多”因为系统的一个组件 - 一个用于图像格式之间转码的库 - 在C ++中运行得非常好,所以我们决定保持原样但系统的其余部分是100%Go,而不仅仅是用C ++或其他语言封装现有模块这是一次有趣的体验,我想我会分享一些经验教训。

为什么重写?

我们必须回答的第一个问题是为什么我们首先考虑改写当我们开始这个项目时,我们采用了一个现有的基于C ++的系统,这个系统是由我们在Google的两个姐妹团队在几年内开发的。这是一个很好的系统,并且它的工作非常出色然而,它已经在几个不同的项目中使用,目标大不相同,导致了一个非常重要的挫折随着时间的推移,我们很快就会继续创新......

在Google运营软件团队

自从我离开学术界以来,我经常被问到谷歌的工作是什么样的我想从终身教授到软件工程师听起来像是一大步除了工作职位之外,我在新职位上比在哈佛大学工作的8年里更快乐,更富有成效,尽管在担任教授和运营软件团队之间存在很多相似之处。

我在Google西雅图办公室领导一个团队,负责移动网络性能领域的一系列项目(有关我团队工作的更多背景,请参阅我的 关于该主题的早期博文)我们的一个项目是最近宣布的 Chrome Mobile中的数据压缩代理支持我们也在努力 的PageSpeed一系列技术,特别是移动网络优化,以及一些我还不能谈论的其他很酷的东西。

My official job title is just "software engineer," which is the most common (and coveted) role at Google(我说“令人垂涎的......”
yabo88安卓
yabo88安卓 is a computer scientist and engineering manager at Google, where he works on ChromePrior to joining Google, he was a Professor of Computer Science at Harvard. 关于马特的更多信息......