台灣學者研發新型二元神經元GAN 有望用於AI作曲

新智元報導

來源：techxplore.com

編輯：木青

【新智元導讀】台灣“中央研究院”IT創新研究中心的研究人員開發出一款新型生成對抗網絡，其在生成器的輸出層設計了二元神經元，研究人員希望將此用於AI作曲。

中國台灣的研究人員最近開發了一種新型生成對抗網絡（GAN），在其生成器的輸出層設計了二元神經元。該模型已經預先在arXiv上發表的論文中提出，可以直接在測試時生成二進製值預測。

目前為止，GAN在連續分布建模方面取得了顯著成果。不過，要將GAN應用於離散型數據還存在很大挑戰，尤其是在高維離散太空中，主要是因為由模型分布向目標數據分布的優化上存在困難。

進行這項研究的研究人員之一Hao-Wen Dong透露，“我目前正著手進行音樂生成。我認為，作曲可以被解讀為一系列的決斷，例如，關於樂器的選擇、和弦的方法、甚至是使用的確切音符。為了實現AI作曲家的巨集偉願景，我特別感興趣的是GAN等深層生成模型是否能夠做出決定。因此，這項工作考察了我們是否可以訓練設計了二元神經元的GAN，並利用標準訓練算法與反向傳播去做出二元決策。”

Hao-Wen Dong和他的顧問Yi-Hsuan Yang共同開發一個模型，可以在測試時直接生成二進製值預測。然後，他們使用它來生成二進製化的MNIST數字，同時比較不同類型的二元神經元、GAN目標以及網絡架構的性能。

樣本生成數字和預激活輸出，用於由MLP實施並使用WGAN-GP目標進行訓練的建議模型。來源：Dong and Yang

“簡而言之，這種新型GAN（BinaryGAN）是一種採用二元神經元的GAN，在其生成器的輸出層輸出一個或零的神經元，”Dong說，“GAN有兩個主要組成部分：生成器和判別器。生成器的目的是生成假數據樣本，這些樣本能夠欺騙判別器將生成的樣本歸類為真樣本。另一方面，判別器的目標是區分假樣本，然後利用其提供的反饋來改進生成器。而訓練之後，生成器可以用來生成新的數據樣本。”

研究人員能夠有效地訓練BinaryGAN，以及它們的生成模型與二元神經元。他們的研究結果還表明，使用梯度估計器可能是有前景的用GAN模擬離散分布的方法。

建議模型的預激活輸出的直方圖以及實值模型的概率預測。這兩個模型均由MLP實施，並通過WGAN-GP目標進行培訓。

“通過使用梯度估計器，我們能夠使用反向傳播算法訓練BinaryGAN，”Dong說，“此外，模型中採用的二值化導致了深度神經網絡學習的中間表征存在著多種不同的特徵。這也強調了在訓練中包含二值化操作的重要性，因此這些二值化操作也能進行優化。”

Dong和Yang現在正尋求將採用二元神經元的GAN應用於條件計算圖的實現。在這種情況下，根據網絡中的二元神經元所做的決定，某些部分將被激活或失效。

MLP實施的建議模型系統圖；請注意，二元神經元僅用於生成器的輸出層

這很重要，因為它可以讓我們建立一個更複雜的、依賴於早期網絡層面決定的模型，”Dong說，“例如，我們可以建立一個AI作曲家，首先決定學習樂器和和弦，然後再相應地學習作曲。”

參考鏈接：

https://techxplore.com/news/2018-10-binarygan-adversarial-network-binary-neurons.html

新智元AI WORLD 2018

世界人工智能峰會全程回顧

新智元於9月20日在北京國家會議中心舉辦AI WORLD 2018世界人工智能峰會，邀請機器學習教父、CMU教授 Tom Mitchell，邁克思·泰格馬克，周志華，陶大程，陳怡然等AI領袖一起關注機器智能與人類命運。

全程回顧新智元 AI World 2018 世界人工智能峰會盛況：

愛奇藝

上午：https://www.iqiyi.com/v_19rr54cusk.html

下午：https://www.iqiyi.com/v_19rr54hels.html

新浪：http://video.sina.com.cn/l/p/1724373.html