每日最新頭條.有趣資訊

大漠孤煙、長河落日,AI也有詩情畫意

文化承載著國家的基因,文化的傳承影響國家未來的發展。十八大以來,“文化自信”成為了熱門詞匯。縱觀中華文明上下五千年,最能體現文化自信的載體非古詩詞莫屬。

優美的詩詞裡蘊含著豐富的歷史情感,傳遞著多彩的中國故事。學詩讀詞是每個華夏兒女從小必修的功課。

但詩詞的用詞往往比較隱諱,意義也跟現代理解有了較大的差別。

但如果有一個工具能將詩詞當中的意向和情感提取出來,這將大大降低人們鑒賞古詩詞時的門檻,將更好的激發人們對詩詞的探索熱情,助力漢語的傳承與發揚。

你能否想象,AI不僅能精準的提取詩詞中的意象與情感基調相結合,還能在此基礎上生成獨具風格的圖片。

在DeeCamp訓練營中,組名為Text2Image(下文簡稱為T2I)的學員們將這一想象變成了現實。

T2I團隊利用三周的時間,開發出了一款“基於古詩詞文本語義的圖片生成”工具。這個基於AI技術的工具,能根據詩歌的意象和情感理解,生成意象圖片,並對這個圖片進行情感渲染著色和水墨風格的遷移,最終畫出AI心中的唐風宋韻。

這款極具創新性的工具讓AI和古詩文碰撞出了前所未有的火花。

一、技術解密

T2I的研究內容,分為對古詩文本語義的理解、意向圖片內容的生成、情感著色並且進行水墨化的風格遷徙三部分。

在文本方面,T2I搜集了5萬多首唐詩,使用規則匹配和CNN提取意象,準確率可達到91%。在情感判別方面,T2I人工標注了2200多句詩歌的情感正負傾向,使用word2vec字向量分析和情感字典自動標注數據,以句為部門進行情感判別,準確率達80.1%。

而為了實現情感著色,T2I人工搜集了基於荷、草、柳、梅、沙漠、山、雲、雁8個意向的25000張單意象圖片和2000張多意象圖片,使用WGAN-GP和風格遷移等模型,結合Open-CV等工具,實現了情感著色和水墨圖片生成。

二、難點解析

據T2I的成員介紹, 該項目的主要難點在於:由於沒有現成的古詩文本與對應內容圖片的成對數據,從算法上來看,則沒有現成可直接利用的端到端算法。故而團隊將任務拆解為文本語義理解和圖片生成兩個部分。在文本語義理解方面,因古詩詞結構的多樣性和內容的豐富性,導致實現難度較大。

而在圖片生成方面,當古詩文存在混合意向時(如:花有清香月有陰),則需生成多意象並存的圖片意向融合。

因此,T2I的成員的積極的在開發過程中進行了創新:在文本語義理解的算法上,團隊優先考慮從原文中直接提取意向。當原文無直接意象時,借助譯文對於意象的解讀進行規則匹配,原文和譯文都沒有時,借助CNN網絡進行建模推斷。

在T2I的努力下,一個既能讀得懂優美的山水田園詩,還能揮毫作畫,畫出唐風宋韻的AI粲然而生。得益於相當完整精致的技術方案,這份詩人與AI穿越千年時空實現的心靈互通的美好在DeeCamp閉幕當天呈現在人們眼前。感人的演示效果使T2I收獲了DeeCamp2018的最佳方案獎。

未來,該項目可以生成一個詩詞動畫系統,這套系統既可以幫助孩子看圖識古詩,也可以幫助外國友人在線學習中文詩詞。落地場景十分光明~

三、所遇之人,皆為摯友

過去的一個月很長。

T2I的成員們從對課題的一無所知、一無所有到齊心協力,分工合作,在3周內完成了課題任務並得到了超乎預期的收獲。每個人都卸下了曾經的光環,從標注數據的髒活累活入手,一點點的嘗試、失敗、再嘗試,直到看到模型和系統的進步。

過去的一個月很短。

那麽多的知識還在消化,項目還需要去進一步的完善,朋友還有太多的話沒說,桌遊和美食也沒有玩夠吃夠。有隊員開玩笑說:GAN來GAN去,最後千山鳥飛“絕”。儘管DeeCamp已經結束,但T2I的成員們卻仍然不願相信這場愉快的體驗已經結束,那幫並肩作戰的可愛隊友都已四散各地。

T2I成員談及DeeCamp之旅的感悟:

人生的曼妙之處就在於不可知的際遇。“這次DeeCamp之行不僅學到了AI技術,更重要的是結識了一批意氣相交的夥伴。”T21成員總結這一個月的收獲,有人學到了前沿的科技知識、有人提高了自己的代碼能力,有人視野得到了開闊,有人對人生路線有了更明確地規劃......還有人:

“我最大的收獲是認識了好多小姐姐”

充實、開放、快樂的DeeCamp生活使這群才華橫溢的少年了解了現實工業界的未來研究方向,並將在學校所學的理論能應用到有趣的實踐項目中。也使他們結實了志同道合的夥伴,各自發揮所長各顯神通,不斷碰撞、磨擦出智慧的火花。

或許DeeCamp就像一條洶湧的知識大河,短短一月只能從中截取一道涓流,但卻足夠受用很久。

而從一個想法到一場完美的展示,除了積澱起堅實的理論基礎,尚需心懷上下求索的精神,只有不忘初心,才能在科技發展的浪潮中,逐漸拉進與未來的距離。

獲得更多的PTT最新消息
按讚加入粉絲團