你穿衣品味還不如AI，這有一款時尚著裝網絡模型

機器之心報導

參與：一鳴、李亞洲

有一件衣服的時候，怎樣的小改動可以提升其整體的時尚性？近日 UT 奧斯汀、康奈爾大學、喬治亞理工和 Facebook AI 研究中心的研究者提出了一種名為 Fashon ++ 的模型，用於給一件衣服進行改進，以便能夠最好地提升其時尚性。

AI 在時尚領域的應用在近幾年逐漸增加，很多研究者利用流行的生成模型架構進行人物換衣和自動上妝。一些研究者近來將目光投向了時裝設計領域。當有一件成衣時，人們更希望的是對其進行微小的改動，以此提升時裝整體的時尚效果，那麽 AI 是否可行呢？這篇論文說明，AI 也是可以幫助人們進行時裝設計的。

論文地址：https://arxiv.org/abs/1904.09261

AI 一鍵改衣

在這篇論文中，研究者提出了一個 AI 系統，名為 Fashion++。這是一個使用深度圖像生成模型的神經網絡，用於識別衣服，並提出對衣服的修改建議。例如，模型會建議對衣服進行移除、添加或移動位置。它也可以對衣服的一部分進行修改，如塞好襯衣或卷起袖子。之前的一些研究中，模型會直接提出整個時裝的修改建議，或者提供一個和現有衣服類似的方案。而 Fashion++則會在現有的服裝基礎上進行修改，使其更有型。

AI 具體會這樣為使用者提出時裝修改建議。如圖所示，左圖中，AI 會建議移除掉整體時裝中的披肩。在中圖中，AI 建議將女士襯衣換成無袖的。在右圖中，則建議將衣服挽起一點。

模型

Fashion++ 能夠為具體的時裝搭配提出建議，這樣的模型是基於深度生成網絡的。

如圖為模型的整體架構。研究人員首先從材質和形狀編碼器中獲得隱式特徵。然後使用編輯模塊 F++進行計算。在一次編輯之後，形狀生成器首先會解碼更新過的形狀特徵，將其還原為一個 2D 分割遮蓋，然後研究者利用「區域性質」廣播更新的材質特徵，將其融合到一個 2D 特徵映射中。這一特徵映射和更新的分割遮蓋會通過一個材質生成器，用於生成出最後更新過的整體時裝。

訓練過程

在訓練之前，系統首先使用了一個分類器，在時裝圖像數據上學習「有時尚感」的圖像。「有時尚感」的圖像作為訓練用的參考數據，然後研究者從網絡中獲取了大量的服裝信息，將這些圖像一步步修改，將其中的時裝部分替換為最不相似的其他部分。這樣一來，就可以生成很多負樣本，用於幫助 AI 學習什麽是不時尚的圖像。

訓練好分類器後，該系統會逐漸更新著裝，以使其更時尚。而後，圖像生成神經網絡會對調整後的新外觀進行渲染，即使用變分自編碼器生成輪廓，使用條件生成對抗網絡（cGAN）生成顏色和圖案。此外，該生成器學習到的潛在編碼還被用於識別其庫存中的哪些服裝最能實現該著裝方式。

數據集

在此研究中，作者使用 Chictopia10 數據集進行實驗。此外，作者們使用了 15930 張圖像來訓練生成器，12744 張圖像訓練時尚分類器。

該數據集用於提供時尚圖像，而剩餘的「不時尚」圖像，根據前文所述，是通過網絡圖像+逐步替換的方式修改的。具體而言，研究者首先使用 Chictopia 全身時裝圖像（一個正樣本），從中選取一部分進行修改，使用一個不同的時裝替換掉這個部分。為了提升「不時尚」圖片的選擇效果，研究者選擇的是新時裝和被替換部分之間歐幾裡得距離（用 CNN 提取出的隱向量）最遠的那種。

構建訓練集。左圖為正樣本，研究者改寫了其中的一些部分，使用歐幾裡得距離最遠的對應時裝進行替換，使其變得難看，成為負樣本（右圖）。

效果

下圖顯示了 Fashion ++推薦服裝的細微變化。

‍

實驗表明，該系統的建議使圖像更接近真實的樣本，並且人類評估者發現 Fashion ++的建議不僅時髦而且易於實施。

研究的意義

Facebook 部落格表示，這項工作展示了 AI 輔助技術的潛力，即使是微小、細微的變化，也能產生有意義的影響。研究中，自舉不時尚的穿著示例表明，即使沒有資源密集型的人工注釋，AI 系統也可以學習。

通過專注於簡單的修改，Fashion ++可以用於開發出有助於消費者輕鬆調整著裝的應用程序，它也是時尚等領域運用 AI 的一個示例。而這些領域，往往被認為太有創意或太主觀，AI 難以掌握。

Fashion ++並不是從命令或重新定義什麽時尚開始，而是從示例中學習，以便提供實用的時尚建議。這樣的研究可能有一天會為人們創建和共享他們最喜歡的穿著提供新的方式，甚至幫助時裝設計師創造新的外觀。

本文為機器之心報導，轉載請聯繫本公眾號獲得授權。

------------------------------------------------