鬼栗子 發自 凹非寺
量子位 報導 | 公眾號 QbitAI
自從機器學習三巨頭Hinton、LeCun、Bengio得了圖靈獎，有個人就被玩壞了。
他叫Juergen Schmidhuber，還有個更通俗的名字，是LSTM之父。
(LSTM，長短期記憶，是一種重要的機器學習方法，可以學習長期信息。)
那時，圖靈獎的消息下面，整座樓都在呼喊他的名字。
現時不同了，有人為了更好地應援 (誤) ，幫他寫了首LSTM之歌：
素材來自一次TED X演講。
也許不像B站鬼畜區的選手那樣專業，但論洗腦，並不遜色。歌詞大致如下，請搭配視頻食用：
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
Human level intelligence.
人類級別的智能。
The LSTM is a little bit like your brain.
LSTM有點像你的腦子。
learns a little bit here and learns a little bit there.
這裡學一點，那裡學一點。
And my first publication on that dates back 30 years, 1987.
我在這上面第一次發表論文是30年前，1987年了。
The long short term memory.
長期、短期的記憶。
Another industrial revolution.
又一場工業革命。
Many many many, many many many people are listening.
很多多多多多多人都在聽。
Trillions of replicating humans make the universe intelligent.
幾千億個複製的人類，加在一起宇宙就智能了。
Animal-like AI.
動物一樣的AI。
Everything is going to change.
萬物都將改變。
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
Has anybody never heard of the LSTM？
有誰沒聽過LSTM？
LSTM working for Facebook.
LSTM為Facebook服務。
Is anybody on Facebook?
有誰在用Facebook？
LSTM working for Facebook.
LSTM為Facebook服務。
Is anybody on Facebook?
有誰在用Facebook？
The long short term memory.
長短期的記憶。
A new type of life is going to be mandatory.
一種新的生命，將成為必須。
The long short term memory.
長短期的記憶。
A new type of life is going to be mandatory.
一種新的生命，將成為必須。
billion human brains, taken together.
十一人的腦子，放在一起。
I have no doubt in my mind.
我絲毫沒有懷疑。
Is anybody doing that?
有人在做這件事麽？
I have no doubt in my mind.
我絲毫沒有懷疑。
Is anybody doing that?
有人在做這件事麽？
(最後的洗腦循環沒聽清)
甚至有一種，在迪斯尼電影裡，主角走著走著唱起歌來的錯覺。這支小曲在推特拿下了超過300讚：
鬼畜作者說：“我們覺得Schmidhuber沒得圖靈獎太不公平了。為了讓他振作起來，就搞了這首歌。”
那麽，世界上有那麽多沒得圖靈獎的大佬，為什麽單單LSTM之父被玩壞？歌詞又為什麽單單點名了Facebook呢？
“我的開創性工作”
其實近些年，LSTM之父常常因為“自己的開創性工作沒得到足夠的尊重”這類激烈的表達，引起世界的矚目。
所以，這裡先描述一下，LSTM是怎樣一項開創性的工作。
就像歌裡唱的那樣，LSTM是長短期記憶的簡稱，和人腦的記憶有些類似。
它是一種特殊的循環神經網絡(RNN) ，最初在1997年發表。那麽，特殊在哪裡呢？
普通RNN是能把先前學到的信息，用到現下的任務裡；但距離越遠的信息，就越難關聯起來。引用Christopher Colah部落格裡的例子：
預測“the clouds are in thesky”裡最後一個詞“sky”的話，不太需要聯繫上下文；
如果要預測“I grew up inFrance… I speak fluentFrench”裡的“French”，普通RNN知道該填一種語言，但不太容易聯繫到“France”這個遙遠信息了。
而LSTM就是為了解決這個問題而生的。它和普通RNN的區別是：
普通RNN的循環部分只有一層 (tanh) ，隻依狀態h的改變而改變，所以對短期的輸入敏感：
普通RNN，來自Colah部落格
而LSTM的循環部分，又加入了c狀態，保存長期狀態。於是，循環部分變成了4層，來決定短期狀態到底對長期劇情產生多大的影響。
LSTM，來自Colah部落格
這樣，LSTM就可以學習更長的序列了。一個長期困擾學界的問題，便是這樣解決的。
1997年發表的那篇論文，作者是Schmidhuber (二作) 和他的學生Hochreiter (一作) 。
後來，LSTM被多方發揚光大，如今已是機器學習領域不可缺少的方法了。
谷歌把LSTM用在語音識別和谷歌翻譯上；蘋果的Siri和亞馬遜的Alexa背後也都是LSTM。
Facebook一年要用LSTM做45億次自動翻譯。這是2017年的數據。
來自Reddit用戶@TheOverachiever
“沒得到足夠的重視”
可這門技術越是重要，作為發明者之一的Schmidhuber越是覺得，自己沒有得到足夠的重視。
畢竟，機器學習三巨頭早已名滿天下，而他的名號遠不及這幾位的響亮。
遠離宇宙中心的他，在瑞士南部提契諾州盧加諾區曼諾的達勒·莫爾AI研究所(IDSIA) ，擔任聯合主任。
2015年，為了紀念人工智能60周年，三巨頭合寫了一篇深度學習綜述，發表在Nature上。
正當大家仔細品讀的時候，這篇文章收到了來自Schmidhuber的反對：
他列出了九條問題，批評三巨頭的綜述沒有足夠尊重前人的成果。
比如，沒有提到Alexey Ivakhnenko，他和小夥伴們在1965年發表了世界上第一個有效的深度學習網絡。
比如，寫到反向傳播(BP) 的時候，隻引用他們自己的論文，和少數幾篇其他論文，忽略了60年代早期Bryson等人的論文，後來的BP就是從那時的成果發展來的。
比如，沒有提及Schmidhuber本人在RNN上面的工作。
很快，三巨頭中的LeCun回懟了遠在歐洲的同行。主要理由是，比起那些給出想法的人，更大的功勳應該屬於把想法用到機器學習上的人：
1986年以前，有很多人早就用過鏈式法則了，也有很多人發現，multi-step function裡可以把雅可比矩陣反向乘在一起。
但能不能說高斯、萊布尼茨、牛頓、拉格朗日都發明了反向傳播？
不！他們並沒有把這個想法用到機器學習上，沒有實現。
LeCun說，很多人也想過用鏈式法則訓練一台機器，但反向傳播直到80年代才真正發明出來。
他還說：
Juergen太想得到認可了，把各種東西都說成是他的功勞，好多並不是他該得的。
這就導致每場talk之後他都要站出來，把別人剛剛展示的東西說成他自己的，提出的方式還常常不太禮貌。
他成了梗：“你們寫的所有LSTM，都是我的。”
LSTM之父與三巨頭的對立面，就形成了。
當三巨頭一起拿下圖靈獎，吃瓜的眾人又想起了這場有趣的戰鬥，蓋起了一座樓，又一座樓。
還有的人類，不滿足於水論壇、答“知乎”這種簡易的活動，選擇拿起鬼畜的武器，才有了大家聽到的LSTM之歌。
歌詞特意點名Facebook，也是為了紀念吧。
畢竟，歌名只有戰役的一方，另一方的主要發言人LeCun，已是Facebook首席AI科學家了。
One More Thing
告訴你一個秘密，嘗到鬼畜甜頭的小夥伴，才不會做一首歌就滿足。
這裡是另一首，節奏更加激烈，歌詞也有些奇異：
你大概聽到了這樣的句子：
“有三個人被判了死刑。”
“你們的遺言是什麽？”
仿佛是在說：
參考資料如下。
Colah的部落格：
http://colah.github.io/posts/2015-08-Understanding-LSTMs/
零基礎入門深度學習(6) - 長短時記憶網絡(LSTM)：
https://zybuluo.com/hanbingtao/note/581764
看Juergen Schmidhuber論戰LeCun、Bengio和Hinton：
https://blog.csdn.net/happytofly/article/details/80120442
《紐約時報》報導：
https://www.nytimes.com/2016/11/27/technology/artificial-intelligence-pioneer-jurgen-schmidhuber-overlooked.html
—完—
加入社群 | 與優秀的人交流
小程序 | 全類別AI學習教程
喜歡就點「好看」吧 ！
香港九龍灣馬來街興發大廈15樓D室