「我懷疑同行評(píng)審實(shí)際上會(huì)造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結(jié)的怪趨勢(shì)。」今日，谷歌大腦知名研究科學(xué)家、GAN 的提出者 Ian Goofellow 在 Twitter 上發(fā)表多條信息炮轟同行評(píng)審機(jī)制。

質(zhì)疑同行評(píng)審

今日，谷歌大腦研究科學(xué)家 Ian Goofellow 發(fā)了一條 Twitter，引起了大家激烈的討論：

我懷疑同行評(píng)審實(shí)際上會(huì)造成而非減輕 Zachary Lipton 和 Jacob Steinhardt 不久之前在文章《Troubling Trends in Machine Learning Scholarship》中總結(jié)的怪趨勢(shì)。

最近，「同行評(píng)審」一直是 Reddit 上與 Twitter 上的熱門話題，從本科畢業(yè)生成為評(píng)審到 NIPS 2018 評(píng)審結(jié)果的出爐，都引發(fā)了 AI/ML 學(xué)者對(duì)同行評(píng)審機(jī)制的討論。

在這條帖子中，Ian Goodfellow 毫不客氣地質(zhì)疑同行評(píng)審的作用，認(rèn)為這種機(jī)制會(huì)造成而非減緩 Zachy Lipton 在 ICML 2018 期間總結(jié)的機(jī)器學(xué)習(xí)研究中的怪現(xiàn)狀，也就是：

無(wú)法區(qū)分客觀闡述和猜想。

無(wú)法確定達(dá)到好效果的來(lái)源，例如，當(dāng)實(shí)際上是因?yàn)閷?duì)超參數(shù)微調(diào)而獲得好效果的時(shí)候，卻強(qiáng)調(diào)不必要修改神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)。

數(shù)學(xué)性：使用令人混淆的數(shù)學(xué)術(shù)語(yǔ)而不加以澄清，例如混淆技術(shù)與非技術(shù)概念。

語(yǔ)言誤用，例如，使用帶有口語(yǔ)的藝術(shù)術(shù)語(yǔ)，或者過多的使用既定的技術(shù)術(shù)語(yǔ)。

（詳細(xì)內(nèi)容請(qǐng)參見：機(jī)器學(xué)習(xí)近年來(lái)之怪現(xiàn)狀）。

同時(shí)，Ian Goodfellow 的觀點(diǎn)也得到了 Zachy Lipton 的贊同，表示同行評(píng)審機(jī)制的退化也應(yīng)該被列在在文章的「原因」章節(jié)之下。

之后，Ian Goodfellow 接連發(fā)了多條 Twitter，「嘲諷」評(píng)審論文方式：

我常常擔(dān)任某領(lǐng)域的主席，且自己管理了一個(gè)小型研究組織，因此我看過大量評(píng)審，包括我們組的研究成果和其他人的研究。

通常評(píng)審人員讀到實(shí)驗(yàn)性論文時(shí)會(huì)抱怨缺乏「理論」。但是他們卻并不要求理論論文來(lái)解決任何特定問題。我認(rèn)為他們就是為了找到一個(gè)拒絕的理由——他們略讀論文，沒有看到論文中的方程。

這可以通過添加無(wú)用的數(shù)學(xué)來(lái)解決，評(píng)審者通常不會(huì)因?yàn)槠錈o(wú)用而指出來(lái)。這樣論文就通過了「我略讀論文，也看到了方程或矯揉做作的理論名稱」的測(cè)試。

類似地，評(píng)審人員也會(huì)在讀到一篇關(guān)于表現(xiàn)良好的新方法的論文時(shí)，因?yàn)檎撐闹袥]有解釋為何該方法性能良好而拒絕該論文。

而如果你真的添加了解釋，那么不管解釋多么蒼白，評(píng)審人員通常會(huì)接受。

評(píng)審者往往通過論文的實(shí)驗(yàn)部分來(lái)理解一個(gè)系統(tǒng)的運(yùn)行方式，并對(duì)論文提出抱怨：沒有新算法。這個(gè)問題可以通過在論文中提出一個(gè)實(shí)際上完全無(wú)關(guān)的新方法來(lái)解決。

評(píng)審者似乎討厭「科學(xué)」論文，但是如果添加一些新的工程方法，則很容易「蒙混過關(guān)」。

（后者和其他情況相比不那么常見。我見過一些科學(xué)論文得到了很高的評(píng)審分?jǐn)?shù)，但卻常常被一些會(huì)議拒絕。）

沒有同行評(píng)審有可能帶來(lái)其他不好的趨勢(shì)，但是我看到評(píng)審者基本上一直是要求作者添加數(shù)學(xué)原理、虛假解釋和虛假的新穎性。

其實(shí)，Ian Goodfellow 并非在批評(píng)同行評(píng)審機(jī)制本身，而是認(rèn)為該機(jī)制在實(shí)際應(yīng)用中沒有做好，「我認(rèn)為同行評(píng)審理論上是個(gè)好主意，但在實(shí)踐中正確地執(zhí)行非常重要。」

此外，也有其他學(xué)科的學(xué)者表示，不只是 AI/ML 社區(qū)有 Ian Goodfellow 所說(shuō)的問題，生物科學(xué)等其他領(lǐng)域也這樣。但是，單單的批評(píng)并不能解決問題，整個(gè)社區(qū)需要的是解決方案。

最后小編想問，Ian Goodfellow 的 NIPS 2018 論文也被評(píng)審批得一無(wú)是處嗎？