跳到主要内容

为什么我给你的论文强烈拒绝

另见: 为什么我给你的论文强烈接受

我几乎完成了另一个会议的论文评论,所以你知道这意味着什么 - 博客的时间。

我开始意识到,试图通过我诙谐且经常严厉的论文评论来教育个体作者可能不会像我希望的那样扩展我希望有人能教授一篇关于“如何撰写体面的科学论文”的课程,并将这篇文章分配为必读但是,唉,我将不得不与那些偶然发现这个博客的可怜人一起做也许我会开始将这篇文章链接到我的评论中。

以前所有这些都可能已经说过了( 坚决拒绝)并且可能是我( 弱接受?),但我想我会分享一些我倾向于撕碎我正在审查的论文的主要原因。

(强制性免责声明:这篇文章代表了我的观点,而不是我的雇主的观点或者其他任何人。)

摘要和介绍很糟糕。 By the time I'm done reading the first page of the paper, I've more or less decided if I'm going to be reading the rest in a positive or negative light在某些情况下,如果我已经确定它正在获得The Big SR,我将不会真正阅读本文的其余部分请记住,我有一堆20或30篇其他论文要审查,如果你轰炸了介绍,我不会花时间挑选你的证明和评估的细微差别。

很多事情都可能出错显而易见的是错综复杂的错别字和语法错误(在某些情况下,这是可以容忍的,如果很明显作者不是以英语为母语的人,但是如果写作质量如此  poor I'll argue against accepting the paper even if the technical content is mostly fine.) A less obvious one is not clearly summarizing your approach and your results in the abstract and intro不要让我深入阅读论文,了解你到底在做什么以及结果是什么这不是丹·布朗的小说 - 最后没有什么大惊喜。

最好的论文真的很有说服力当我以前写论文时,我会花在前两页上的时间远远超过其他任何东西,因为这才是真正重要的本文的其余部分只是备份你在那里说的话。

在定义问题之前深入了解您的解决方案。 This is a huge pet peeve of mineMany papers go straight into the details of the proposed solution or system design before nailing down what you're trying to accomplish至少你需要说明目标和约束更好的是,提供一个现实的,具体的应用程序并详细描述它并告诉我为什么以前的解决方案不起作用简而言之 - 激励工作。

将论文集中在世俗的实施细节上,而不是想法。 Many systems papers make this mistakeThey waste four or five pages telling you all about the really boring aspects of how the system was implemented -- elaborate diagrams with boxes and arrows, detailed descriptions of the APIs, what version of Python was used, how much RAM was on the machine under the grad student's desk.

首先,我不在乎我关心的是你的想法,以及这些想法如何超越你的具体实施许多系统人员将这件神器与这个想法混为一谈 - 我以前写过博客的东西那里  papers where the meat is in the implementation details -- such as how some very difficult technical problem was overcome through a new approach但绝大多数论文,实施并不重要,也不应该不要用这种垃圾填充你的纸张只是为了使它听起来更技术我知道这很容易写几页,但它通常不会增加那么多的价值。

写一堆罗嗦废话并不意味着什么。 Trust me, you're not going to wow and amaze the program committee by talking about dynamic, scalable, context-aware, Pareto-optimal middleware for cloud hosting of sensing-intensive distributed vehicular applications如果你的写作听起来像 自动生成的假Rooter纸("A theoretical grand challenge in theory is the important unification of virtual machines and real-time theoryTo what extent can web browsers be constructed to achieve this purpose?"), you might want to rethink your approach要简洁而具体用清晰的语言解释你在做什么糟糕的想法不会被接受只是因为它们听起来很花哨。

过度复杂的问题让您有机会展示一些精心设计的技术方法。 A great deal of CS research starts with a solution and tries to work backwards to the problem(我也对此感到内疚。)通常在坐下来撰写论文时,作者意识到他们所迷恋的技术方法需要一个人为的人为问题来使这些方法听起来引人注目审稿人通常不会被这种愚弄如果只是简单地简化问题,那么你就不需要渲染漂亮的设计了,可能是时候处理不同的问题了。

数字没有描述性标题。 This is a minor one but drives me insane every timeYou know what I mean: A figure with multiple axes, lots of data, and the caption says "Figure 3." The reviewer then has to read deep into the text to understand what the figure is showing and what the take-away is理想情况下,数字应该是独立的:标题应该总结数字的内容和提供的数据的含义这是一个例子 我的一篇旧论文


Isn't that beautiful? Even someone skimming the paper -- an approach I do 在我的出版物上支持 - 可以理解这个数字试图传达的信息。

粗略和幼稚的相关工作处理。相关的工作部分并不是说唱专辑中的一首喊叫曲目(“这一部分发给了我的主要人物,Bezerkeley唯一的Docta Patterson,G!”)只是为了证明你知道那些论文而不是一个引用列表您应该讨论相关工作并将其置于上下文中,并对比您的方法It's not enough to say "References [1-36] also have worked on this problem." Treat the related work with respect如果您认为这是错误的,请说出来,然后说明原因如果你正在建立其他人的好主意,给他们应有的信誉正如我的博士生导师告诉我的那样,站在巨人的肩膀上,而不是他们的脚趾。

评论

  1. 背景:我既不是学术界也不是科学论文但是,作为一名研究软件开发人员,我阅读了很多。

    我理解你在写得不好的论文时的痛苦这些通常会成为具有难以置信的承诺和结果的人仅供参考,这些来到我的办公桌进行原型设计但是,以下声明向我说明。

    “请记住,我有一堆20或30篇其他论文需要复习,如果你轰炸了这个介绍,我就不会花时间分析你的证明和评价的细微差别。”

    我认为更大的问题是每位评论者都要收集20到30篇论文进行评审。

    接下来的问题是,“如果你只有2或3篇论文需要复习,你是否会介意花时间挑选证明的细微差别并评估作者是否只是轰炸了这个介绍?”

    If your answer is no; then there is nothing else that can be done这只是一个评论者的偏见,每个人都有自己的观点If the answer is yes, it indicates a deeper issues with reviewing system than with the writing.

    答复删除
    回复
    1. 我强烈反对你科学更多的是能够传达一个人的结果而不是结果本身作为一名作者,我的职责是以一种吸引读者阅读的方式撰写论文毕竟,出版物不是关于出版物,而是在出版后应该被更多人阅读这意味着如果我接受一篇写得不好的论文,我(作为评论者)不会真正对各自的作者有所帮助,因为我认为这个想法有一些优点如果这样的论文被接受,它将完全没有影响,因为除了原始评论者之外没有人会阅读它如果这是由于论文的介绍,那么这些想法的潜力尚未完全实现真的是一种浪费。

      我们不为自己写论文 - 我们为读者做这也意味着我们绝对必须以最佳方式为读者准备论文在评论中直接进行是至关重要的如果演示文稿非常糟糕,我们应该写清楚并提出一些改进建议。

      实际上,作为一名作者,如果大多数评论者没有指出论文写得多好,我会对自己感到生气我可以根据这些想法接受拒绝但是,如果评论者不理解我的论文/我的想法,或者评论说演示文稿很差,并且论文必须基于此而被拒绝 - 那就是我的错误。

      删除
    2. 这是一个非常好的观点关于科学论文评审过程的破坏程度已经写得很多(在这个博客和其他地方)尽管如此,我并不觉得我欠作者一份实质性的评论(而且是我的时间的一部分)只是因为他们提交了一份论文如果在略读一篇论文时很明显它会被拒绝,我会写一篇粗略的评论并继续我生活中的其他事情虽然有些事情可以使评论更轻松,但我认为这些不会对我对写得不好的论文的处理产生重大影响。

      删除
    3. 那么,一个问题是审查过程有两个独立的目的:(1)为会议选择一套论文(2)向作者提供反馈如果目标只是(1),那么浏览要拒绝的论文就可以了如果目标也是(2),那么作者就会得到一些反馈。

      而且越来越多,我看到为目的而提交的论文(2),即粗略期望他们将被拒绝(当然希望他们会被接受),但目的是获得一些反馈。

      删除
  2. 嗨马特我订阅了你写的每一个字!

    答复删除
  3. 进行不受支持的断言。除非你能真正支持,否则不要声称“A是B”是你工作的基本动机在表现方面,要特别注意不要在断言中“复杂”之后自动添加“和慢” - “难以理解”和“必然慢”之间存在巨大差异。

    类似于高中科学报告。(或“我不想读你的个人发现杂志。”)一篇好文章描述什么你学到了,读者可能采取的实验路径来重现你的结果,而不是实际发生的随机游走(一篇非常好的论文可以解决你的一些研究错误的步骤,但如果你需要这个建议,那么你就不会写出非常好的论文。)

    答复删除
  4. 我将添加另一个,它已经开始真正激怒我:根本不包括任何结果。

    我不关心你的抱负,你的愿望和你的建筑观念如果您没有任何证据来支持您的陈述,那么这不是科学我不要求人们做真实世界的实验,但至少要运行一些模拟或证明理论或*某事*我最近得到了很多这些,并且它已经达到了这样的程度,在我阅读摘要之后,在我开始介绍之前,我翻到最后看看是否有任何结果。

    答复删除
    回复
    1. 我认为结果是所有部分中最无意义的,甚至不应该包含在论文中How can we trust one's own evaluation of their own work? It has been shown that even work presented at top conferences in a large majority of cases cannot be reproduced:
      http://cacm.acm.org/magazines/2016/3/198873-repeatability-in-computer-systems-research/fulltext

      作者不应该进行评估You don't trust a car dealer, but you take a car out for a test drive before buying it我不明白为什么你会相信一个甚至不分享他们的代码/数据的学者。

      删除
  5. 我一直很欣赏马特的帖子,因为他们对学术界普遍存在的高度系统化和极少挑战的价值等级提出了更深层次的质疑。但这篇文章相当令人失望,因为似乎马特在学术界之外的时间并没有为他提供更多关于这个问题的观点。

    如果他在哈佛大学指导他的博士生,上述内容可能是可以接受的(事实上,我确信他对他的学生说了很多,这是一个很好的工作建议In many cases, he may have jumped in and written those same introductions himself right before the paper was submitted.) Or if it had been entitled "Pro-tips for PhDs and Professors" or "How (Some) Reviewers Think", it would have been great但相反,它采取了自以为是的权利宣言的形式作为审稿人。

    The essential message of Matt's article is "I reserve, even cherish, the right to reject your paper if I don't think your writing is good enough." In an increasingly international research community, this elitist argument clearly gives the advantage to those with Anglo- and Western- backgrounds, in the same way that the SAT Verbal section was a set of memorized code words that ever-so-conveniently happened to be in common use by upper middle class families across America and ensured their continued access to top universities在一个众所周知的低接纳率的社区中,强调巧妙的写作显然有利于选择群体当然,我们总是可以争辩说,真正值得在这里发表的人将学习所有这些代码词,或者写作“雄辩的介绍”的艺术,正如马特指的那样Perhaps it's just me, but don't the Program Committees of the systems community seem a little bit white compared to most of CS? Maybe I'm wrong.

    我相信强势写作,可能是文科背景的产物,足以让我理解马特论证背后的偏见当我不得不忍受糟糕的写作时,它会让我感到恼火但最终,全球化要求我们承认科学是以最快的速度推进人类知识,而不是写出漂亮的散文。如果针对埃博拉病毒的治疗方法是在第3页,经过蹩脚的介绍,你应该接受或者,就此而言,如果他们将数据中心提高0.5%,您也应该接受,因为这可能间​​接地导致治愈埃博拉病毒。

    A more PC version of what Matt could have said would be "Well written papers are more likely to communicate your ideas and improve your chances of acceptance, and of others citing your work." But I think it's good Matt wrote what he did because it gives us reason to reflect.

    答复删除
    回复
    1. 我想在我的文章中我很清楚,我试图避免基于作者是否是母语为英语的人而产生偏见我认为对我征收文化偏见的指责是不公平的,尤其是这样做是为了躲在匿名评论之后。

      糟糕的写作是糟糕的写作我认为大多数曾在计划委员会任职的人都会同意,当他们有大量的论文要审阅时,写得好的论文会得到更好的对待。如果你想论证论文只应该根据科学价值而不是博览会的质量来评估,我认为你应该是少数。

      删除
  6. “(...)以明确的方式解释你在做什么(......)”
    在我看来,这是主流研究论文的一个很好的配方..在其中讲述一个故事,说明你已经采取了哪些措施来逐步改进一些“热门话题”你自己说:“如果只是简单地解决问题,你就不需要渲染漂亮的设计,那么可能是时候处理不同的问题了”然而,创新并不总能通过既定的沟通方式得到充分的解释。
    我的观点是,你所指的好文章都是有些无聊的论文......他们的平均阅读时间不是由内容驱动,而是由接受/拒绝任务驱动,他们的价值与经验结果的数量能够直接成正比这些论文大多是肌肉发达,新奇有限请注意,我说他们很无聊,我不是说他们对社区不重要。
    写论文是一种自由艺术形式:主流研究需要颠覆性的地下研究来养活其模范业务,地下研究需要主流研究模式企业才能生存可以用地下音乐完美地平行......蓝调,爵士,摇滚,金属,嘻哈,电子都是他们开始时的地下音乐,因此他们被社会“强烈拒绝”(I.e.e)社区)...所有“当前”的音乐都深受所有人的影响!
    众所周知,一些“最具开创性”的论文确实最初被拒绝,因为他们没有遵循任何“好”的写作方法。

    答复删除

发表评论

此博客的热门帖子

我为什么要离开哈佛

我已经决定辞去我在哈佛大学的终身教职,留在谷歌显然,这将是我职业生涯中的一个重大变化,也是我在过去几个月中花费了大量时间考虑的事情。

我不应该让谣言传播我的举动的原因,我认为我应该非常直接地解释我的想法。

我首先要说的是,由于哈佛问题,我不会离开相反,我喜欢哈佛,并会很想念它计算机科学系是绝对一流的,学生是教授希望与之合作的最佳人选这是一个梦幻般的环境,非常支持,并且有很多优秀的人才。 他们疯狂到足以让我任职我现在离开时感到内疚我加入了哈佛,因为它提供了一个机会,可以对一所重要学校的一个重要部门产生重大影响,而且我对八年前去那里的决定感到无比遗憾。但是......

在Go中重写大型生产系统

我在谷歌的团队正在努力重建一个大型生产系统(几乎) 我说“差不多”因为系统的一个组件 - 一个用于图像格式之间转码的库 - 在C ++中运行得非常好,所以我们决定保持原样但系统的其余部分是100%Go,而不仅仅是用C ++或其他语言封装现有模块这是一次有趣的体验,我想我会分享一些经验教训。

为什么重写?

我们必须回答的第一个问题是为什么我们首先考虑改写当我们开始这个项目时,我们采用了一个现有的基于C ++的系统,这个系统是由我们在Google的两个姐妹团队在几年内开发的。这是一个很好的系统,并且它的工作非常出色然而,它已经在几个不同的项目中使用,目标大不相同,导致了一个非常重要的挫折随着时间的推移,我们很快就会继续创新......

在Google运营软件团队

自从我离开学术界以来,我经常被问到谷歌的工作是什么样的我想从终身教授到软件工程师听起来像是一大步Job titles aside, I'm much happier and more productive in my new role than I was in the 8 years at Harvard, though there are actually a lot of similarities between being a professor and running a software team.

我在Google西雅图办公室领导一个团队,负责移动网络性能领域的一系列项目(有关我团队工作的更多背景,请参阅我的 关于该主题的早期博文)我们的一个项目是最近宣布的 Chrome Mobile中的数据压缩代理支持我们也在努力 的PageSpeed一系列技术,特别是移动网络优化,以及一些我还不能谈论的其他很酷的东西。

我的正式职位名称只是“软件工程师”,这是Google最常见(和令人垂涎)的角色(我说“令人垂涎的......”
yabo88安卓
yabo88安卓 is a computer scientist and engineering manager at Google, where he works on ChromePrior to joining Google, he was a Professor of Computer Science at Harvard. 关于马特的更多信息......