每日最新頭條.有趣資訊

無需乾淨樣本,英偉達AI去馬賽克

學會去噪點操作的人工智能早已經不是什麽稀有事物,無論是“拍人更美”還是清晰的夜景拍攝,背後少不了AI的加持。

為了在光線追蹤技術中提升高品質影像的輸出速度,也需要對影像做降噪處理(英偉達RTX光線追蹤來了,你的錢包準備好了嗎),NVIDIA在這方面的技術處於領先地位。

通過題海戰術的大量訓練,見多識廣的卷積神經網絡不難做到對模糊影像的複原。所謂題海戰術,就是成雙成對的給神經網絡投喂多噪點—清晰的對照影像。

見的多了,AI也就具備了還原影像的能力。

然而在NVIDIA的Noise2Noise的訓練環節,並不需要兩張多噪點和清晰的對照影像做訓練集,吃進去的全是模糊影像,AI卻依然學會了洞悉影像真實面目的能力。

就算模糊成馬賽克,它也能看穿你的真面目

即便滿螢幕的彈幕汙染

依然能還你一個清新的畫面

看到這裡,不禁為Noise2Noise的強大腦補能力而驚歎了,怎麽做到的呢?

Noise2Noise

NVIDIA與來自麻省理工學院以及阿爾托大學的人工智能研究人員一起創建了這個名叫Noise2Noise的東西。

該團隊從ImageNet數據庫中獲取了50000張影像,對它們做“增噪”處理。然後利用這些“不乾淨”的影像做降噪處理,訓練降噪能力。值得注意的是,在訓練過程中AI始終不知道“乾淨”的影像長什麽樣,它接手的全是噪點影像。

沒有清晰、不清晰成對的對照影像訓練組,AI就要學會從不清晰的影像中去尋找高清無碼。

傳統的訓練方式是對噪音影像操作,以乾淨影像為訓練目標。

Noise2Noise不以乾淨影像為訓練目標,而選擇以另一張噪音影像為目標,最終的效果幾乎一樣。

起點相同,方法相同,只是目的地不一樣,最終的效果相同。

兩種訓練方式的訓練速度也幾乎一樣

Noise2Noise的影像複原效果非常好。

不需要“乾淨數據”的Noise2Noise有著顯而易見的好處,它能夠消除收集清晰影像數據的需求,讓AI訓練實現更簡化的目的。

點擊邊框調出影片工具條

應用

在醫療領域非常有用,例如對核磁共振影像(MRI)掃描,Noise2Noise能夠用於影像的降噪,方便醫師查看清晰的影像,而不需要面對滿滿的馬賽克。

用於照片降噪的算法同樣可以用於對影片素材的降噪,不過降噪所花費的時間就要長很多了。老照片、舊影片在Noise2Noise算法下同樣能褪去時間的面紗,還原歷史的原貌。

去馬賽克,去水印也都是不在話下的。

獲得更多的PTT最新消息
按讚加入粉絲團