280萬分割掩碼，谷歌Open Images數據集再更新

機器之心編輯

參與：陳韻瑩、路雪

近日，谷歌開源 Open Images V5 數據集。相比於 V4 版本，新版數據集包含 280 萬個物體實例的分割掩碼，覆蓋 350 個類別。新增 640 萬個經過人工驗證的圖像級標簽，標簽總數高達 3650 萬。此外，谷歌還將基於這個新數據集啟動第二屆 Open Images Challenge 挑戰賽，該賽事新增了實例分割賽道。

2016 年，谷歌推出了圖像數據集

Open Images

，合作發布了約 900 萬張標注圖像，覆蓋數千個物體類別。之後該數據集有過幾次更新，最後一次更新是 2018 年的 Open Images V4。該版本共包括 600 個物體類別及 1540 萬個邊界框，這使其成為目前具備物體位置標注的最大數據庫。此外，Open Images V4 還為 57 個類提供了 375000 個視覺關係標注。

近日，谷歌發布 Open Images V5 版本數據集（該版本在標注集上添加了分割掩碼），並宣布啟動第二屆 Open Images Challenge 挑戰賽，挑戰賽基於 Open Images V5 數據集增加了新的實例分割賽道。

Open Images V5

Open Images V5 包含 280 萬個物體實例的分割掩碼，覆蓋 350 個類別。與僅標注物體所在區域的邊界框不同，分割掩碼標記物體的輪廓，以更高層次的細節描述其空間範圍。谷歌研究者確保不同物體之間的標注一致性（例如：所有貓的掩碼都包括它們的尾巴；駱駝或人攜帶的包袋都包括在駱駝或人的掩碼中）。重要的是，與以往任何數據集相比，這些掩碼覆蓋更廣的物體類別範圍和實例總數都更多。

以上是 Open Images V5 訓練集的掩碼樣例。這些都通過谷歌的互動式分割方法生成。第一個樣例同時標注了邊界框作為對比。

訓練集中的（268 萬個）分割掩碼都是通過谷歌提出的當前最優互動式分割方法生成。在該過程中，專業的標注人員反覆修正分割神經網絡的輸出結果。這比單純手工繪製更高效，同時還能提供準確的掩碼（交並比達 84％）。

此外，谷歌在驗證集和測試集上發布了 9.9 萬個非常注重質量的手工標注掩碼。它們近乎完美，甚至捕捉到了複雜物體邊界的細微細節（例如：帶尖刺的花朵和人造物體中的細長結構）。訓練集和驗證+測試集的標注都提供了比大多數現有數據集的多邊形標注更準確的物體邊界。

以上為 Open Images V5 驗證集和測試集的掩碼樣例，完全由手工繪製。

除了掩碼之外，谷歌還為該數據集增加了 640 萬個經過人工驗證的圖像級標簽，標簽總數高達 3650 萬，覆蓋近 2 萬個類別。最後，谷歌還改進了驗證集和測試集上 600 個物體類別的標注密度，添加了超過 40 萬個邊界框，以匹配訓練集的密度。這樣可以確保能夠更精確地評估目標檢測模型。

表 1 概述了該數據集中所有子集的圖像級標簽。所有圖像的圖像級標簽都由類似於 Google Cloud Vision API 的計算機視覺模型自動生成。此外，該視覺模型已經進行了升級，以適應 V5 數據集版本的較高標簽質量。這些自動生成的標簽有相當高的假正例率。

表 1：圖像級標簽。

此外，驗證集和測試集以及部分訓練集具備經過人工驗證的圖像級標簽。大部分驗證是由谷歌內部的標注人員完成的。一小部分由外包人員完成。此驗證過程實際上消除了假正例（但不能消除假負例：圖像中可能缺少某些標簽）。得到的標簽基本上是正確的，谷歌推薦將其用於計算機視覺模型的訓練中。谷歌使用多個計算機視覺模型來生成樣本（而不僅僅是用於生成標簽的模型），使得類別得到顯著擴展（表 1 中的 #classes 列）。

總體而言，數據集包含 19,949 個具備圖像級標簽的不同類別。請注意，此數字略高於表 1 中經過人工驗證的標簽數量，原因是由機器生成的集合中有少量標簽未出現在人工驗證的集合中。可訓練類別（Trainable classes）指在 V5 訓練集中至少含有 100 個人工驗證正類的類。基於這個定義，可訓練類別有 8658 個，而機器生成的標簽覆蓋了其中的 8386 個。

Open Images Challenge 2019

谷歌將在 ICCV 2019 上舉行第二屆 Open Images Challenge 挑戰賽。該挑戰賽將基於上述數據增加一條新的實例分割賽道。此外，與 2018 年的挑戰賽一樣，它將包括一個大規模目標檢測賽道（500 個類別，1220 萬個訓練邊界框），以及一個視覺關係檢測賽道，用於檢測成對物體中的特定關係（329 個關係三元組，37.5 萬個訓練樣本，如「彈吉他的女人」或「桌上的啤酒」）。

現在包含所有標注的訓練集已經可以使用了：https://storage.googleapis.com/openimages/web/challenge2019_downloads.html

測試集與 2018 年挑戰賽的 10 萬張圖像相同，將於 2019 年 6 月 3 日在 Kaggle 上開放。用於評估目標檢測和視覺關係賽道的伺服器將於 6 月 3 日開放，評估實例分割賽道的伺服器將於 7 月 1 日開放。提交結果的截止日期為 2019 年 10 月 1 日。

本文為機器之心編輯，轉載請聯繫本公眾號獲得授權。

------------------------------------------------