《電子技術應用》
您所在的位置:首頁 > 可編程邏輯 > 解決方案 > 實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

實質名歸的ACM 2018圖靈獎,「哭泣的」LSTM之父Schmidhuber

2019-03-29
關鍵詞: ACM2018 LSTM DNN

昨日,ACM 2018 圖靈獎得主公布,深度學習三巨頭 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人共享此殊榮。此次 ACM 大獎的頒布,一方面讓人感嘆「終于」、「實至名歸」之外,也讓人不禁想起 LSTM 之父 JüRGEN SCHMIDHUBER,他是否也應該獲此榮譽呢?

微信圖片_20190329142253.jpg


在官方公告中,ACM 介紹說,「因三位巨頭在深度神經網絡概念和工程上的突破,使得 DNN 成為計算的一個重要構成,從而成為 2018 年圖靈獎得主。」

微信圖片_20190329142310.jpg


確實,在這波 AI 浪潮中,深度學習扮演著主力角色。在人工神經網絡歷經寒潮之時,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 這樣一小撮人的的堅持,帶來了如今深度學習的崛起。


正如 ACM 主席 Cherri M. Pancake 所說,「人工智能如今是整個科學界發展最快的領域之一,也是社會上討論最廣的主題之一。AI 的發展、人們對 AI 的興趣,很大程度上是因為深度學習的近期進展,而 Bengio、Hinton 和 LeCun 為此奠定了重要基礎……」


因此,Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三位非 ACM Fellow(捂臉)獲此殊榮實至名歸。


然而,在我們感嘆有「計算機界諾貝爾獎」之稱的 ACM 圖靈獎「終于」頒發給深度學習時,也有學者發出疑問 LSTM 之父 Jurgen Schmidhuber 是否也應獲得此榮譽。


Jurgen 也該得獎?


2018 年的圖靈獎頒給了在 AI 寒冬中默默堅持,并引領學界走向深度學習爆發的三位先驅,這是 AI 領域的一件喜事。在大獎結果正式公布后,社交網絡上的討論也在熱烈開展,不過人們的焦點卻有些文不對題:

微信圖片_20190329142325.jpg

(圖注)在 Reddit 上,有關圖靈獎的帖子被頂最多的幾個回復:「Schmidhuber 哭暈在廁所」。


對此,人工智能著名學者,南京大學人工智能學院院長周志華第一時間也表示:「要論對深度學習的貢獻,Hinton 無疑居首,LeCun 和 Schmidhuber 貢獻都很大。但 HLB 總捆綁在一起,而 S 跟 HLB 都不對勁。。。獲獎需有提名有投票,人緣也重要。。。不過沒關系,有 LSTM 這樣教科書級的貢獻足以淡定。」


在知乎問答上,也有眾多網友肯定 Schmidhuber 的成就,感興趣的讀者可查看該知乎帖子:

微信圖片_20190329142355.jpg

鏈接:https://www.zhihu.com/question/317715156


看來大家紛紛對 Jurgen Schmidhuber 在人工智能領域里的貢獻表示肯定。不過此人在業內人緣似乎的確不夠好,在 2015 年還曾發文怒懟過 Geoffrey Hinton、Yoshua Bengio 和 Yann LeCun 三人小圈子。


作為一個例子,讓我們看看《自然》雜志 2015 年的人工神經網絡(NN)文章《Deep Learning》,它是深度學習的一篇標志性文章,目前引用量已經達到了 13886。該文章是 LeCun、Bengio 和 Hinton (簡寫LBH)聯合寫的,他們從當下的卷積、循環和反向傳播算法等核心概念概覽了深度學習,并表示無監督學習、深度學習結合強化學習等方向才是發展趨勢。


然而,Schmidhuber 在當年的一篇批判性文章中表示,作者在這篇文章中引用了很多自己的研究工作,而忽視了半個世紀以前開創領域的先驅者。此外,Schmidhuber 在文章中還說了一句「They heavily cite each other」。


如下展示了Schmidhuber 批判的前三條觀點,他對該論文一共提出了九條批判性意見。

微信圖片_20190329142414.jpg

截自:http://people.idsia.ch/~juergen/deep-learning-conspiracy.html


總體而言,Schmidhuber 列舉了三人對于深度學習、反向傳播、前饋學習、無監督學習、卷積神經網絡等等方面對于前人研究的忽視,可謂詳盡。


如此耿直,難怪不受人待見。不過另一方面,我們評判一位學者的成就不應該看他的性格,而更應該以學術成就作為標準。


正如人們所說的,Jurgen Schmidhuber 是一名人工智能先驅。


Jurgen 的學術成就


作為 LSTM 發明人、深度學習元老,Jürgen Schmidhuber 的識別度一直沒有 Yann LeCun、Yoshua Bengio 等人那么高。他最為人們所知的名號就是「LSTM 之父」了:早在 1997 年,他和 Sepp Hochreiter 共同撰寫了一篇論文,其中提出了一種利用記憶功能來增強人工神經網絡(模擬人類大腦的計算機系統)的方法,即根據之前獲得的信息,添加解釋文字或圖像模式的循環。他們稱之為「長短期記憶(LSTM)」。


LSTM 解決 RNN 存在的短板,在隨后的多年中被人們廣泛采用。然而遺憾的是,當時 LSTM 也并沒有受到業界更多的重視,在 1995 年,首個論述 LSTM 的論文被著名的 NIPS 會議拒絕了。1997 年,關于 LSTM 的論文被麻省理工學院退稿。「即便是美國、加拿大及其他地區的著名的神經網絡專家,都沒能意識到我們自 1990 年代起于高山上實驗室研發的深度循環神經網絡的潛能。」Schmidhuber 多次在媒體采訪時表露出遺憾。


語音識別最重要的模型之一——Connectionist temporal classification(CTC),是由 Graves、Schmidhuber 等人在 2006 年提出的,該論文出現在 2006 年的 ICML 上。CTC 是一種改進的 RNN 模型,可以讓網絡自動學會對齊,十分適合語音識別和書寫識別。


Jurgen 貢獻的重要研究還不止于此。2018 年,由谷歌大腦研究科學家 David Ha 與瑞士 AI 實驗室 IDSIA 負責人 Jürgen Schmidhuber 共同提出的「世界模型」再次吸引了人們的注意。這是一種可以讓人工智能在「夢境」中對外部環境的未來狀態進行預測的新方法,而論文的名字也非常霸氣:

微信圖片_20190329142441.jpg


今天人工智能的形態,是由眾多學者共同打造的。在恭喜三巨頭獲得圖靈獎的同時,不要忘了另外一些人的貢獻。


最后,網友實力「皮」了一波:兩彈元勛黃仁勛是不是離圖靈獎也不遠了……


本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:[email protected]
主站蜘蛛池模板: 欧美高清视频手机在在线 | 免费99热在线观看 | 久久精品国产亚洲片 | 怡红院色视频在线 | 香港经典a毛片免费观看看 香港经典a毛片免费观看爽爽影院 | 日本一区二区免费在线观看 | 看一级特黄a大一片 | 亚洲国产日产韩国欧美综合 | 狼人 成人 综合 亚洲 | 国产l精品国产亚洲区久久 国产tv在线 | 国产网站精品 | 久久久久久久免费视频 | 免费视频久久看 | 日产一一到六区网站免费 | 亚洲精品一二区 | 波多野结衣在线播放视频 | 一本伊大人香蕉高清在线观看 | 亚洲欧美日韩高清在线看 | 韩国一级毛片大全女教师 | 亚洲高清在线观看 | 加勒比一区在线 | 日产国产精品亚洲系列 | 日本一级特黄毛片高清视频 | 欧美三级一区二区 | 成年人免费观看视频网站 | 日韩视频精品在线 | 亚洲精品一区二区三区福利 | 国产黄色一级毛片 | 黄色在线播放 | 女人张开腿让男人桶视频免费大全 | 99国内视频 | 国产欧美一区二区三区视频在线观看 | 国美女福利视频午夜精品 | 草久在线播放 | 噜噜噜狠狠夜夜躁精品 | 五月久久噜噜噜色影 | 91久久99热青草国产 | 日本一级~片免费永久 | 免费高清欧美一区二区视频 | 狠狠色狠狠色综合日日32 | 在线精品免费视频 |