包容性影象競賽
來源 | 谷歌開發者公眾號
文 / Tulsee Doshi, Google AI 產品經理
釋出大型的、對公眾開放的影象資料集（如 ImageNet，Open Images 和 Conceptual Captions），是推動計算機視覺領域巨大進步的因素之一。 雖然這些資料集是開發實用的機器學習（ML）模型的一個極其重要的部分，但是我們已經發現，有些開源資料集在收集方式上存在地理上的偏移。因為資料集的形狀告訴我們 ML 模型的學習內容，但如果有些地理區域的資料的代表數不足，低於一定比例，這種偏差可能會導致研究團體在無意中開發出一些繪製圖像表現較差的模型。 例如，以下影象顯示在 Open Images 資料集上訓練的一個標準開源影象分類器，但是由於世界各地的婚禮習俗五花八門，該分類器就無法將 “婚禮” 相關的標籤準確無誤地標註上去。
注：在地理上的偏移連結
ofollow,noindex">ai.google/research/pu…
婚禮照片（由 Google 員工捐贈），由 Open Images 資料集上訓練的分類器進行標記。 分類器的標籤預測記錄在每個影象下方
儘管 Google 正致力於構建更具代表性的資料集，但我們仍想鼓勵人們在該領域進行更多的研究，以便在資料來源並不完善的情況下，機器學習方法可以更強勁，併兼具包容性。 這是一項重要的研究挑戰，在目前建立的機器學習模型方式方法上，推動我們不斷突破向前發展。良好的解決方案將有助於確保即使在某些資料來源不完全包容的情況之下，也依舊可以利用它們來開發模型。
為了支援這項工作，並促進具有包容性的 ML 模型的進一步發展，我們很高興地宣佈在 Kaggle 上舉辦包容性影象競賽。 該項競賽與 Conference on Neural Information Processing Systems Competition Track（神經資訊處理系統競賽軌道會議）合作，鼓勵參賽者使用 Open Images，這是一個大型的，多標籤的，公開的影象分類資料集，主要在北美和歐洲進行取樣，訓練模型對從全球不同地區採集來的影象進行評估。
注：Kaggle 上舉辦包容性影象競賽連結
神經資訊處理系統競賽軌道會議連結
Open Images 連結
本次比賽中的三種地理分佈的資料。 參賽者將在 Open Images 上訓練他們的模型，Open Images 是一種廣泛使用的公共可用的影象分類基準資料集，取材主要來自北美和西歐。首先在競賽第一階段中對模型進行評估，之後在競賽第二階段中再次評估模型，每個模型具有不同的地理分佈，但並不披露。 通過這種方式，對模型進行壓力測試，使其能夠在訓練資料外進行包容
我們通過 Crowdsource 專案建立了兩個 Challenge 資料集進行模型評估，裡面邀請了世界各地的志願者參與貢獻周邊環境的照片。 我們希望這些由 Google 全球社群捐贈而建立的資料集將為本次競賽提供具有挑戰性的基於地理位置的壓力測試。 我們還計劃在比賽結束時釋出更多的影象，提供更多的包容資料，來進一步鼓勵包容性發展。
注：Crowdsource 專案連結
來自 Challenge 資料集標記影象的示例。 按左上方順時針方向，來自 Peter Tester，Mukesh Kumhar，HeeYoung Moon，Sudipta Pramanik，jaturan amnatbuddee，Tomi Familoni 和 Anu Subhi 捐贈的影象
包容性影象競賽於 9 月 5 日正式啟動，提供可用的培訓資料和第一階段挑戰的資料集。 提交結果的截止日期為 11 月 5 日星期一，測試集將於 11 月 6 日星期二釋出。 欲知詳情以及時間表，請訪問包容性影象競賽網站。
注：包容性影象競賽網站連結
比賽結果將在 2018 Conference on Neural Information Processing Systems（2018 年神經資訊處理系統會議）上公佈，我們將為排名靠前的參賽者提供旅行補助金，幫助他們來參加會議（詳情請見本頁）。 我們期待成為社群開發更具包容性的全球影象分類演算法的一份子！
注：詳情請見本頁連結
鳴謝
在這裡我們要感謝以下人士，感謝他們為實現包容性影象比賽和資料集作出的不懈努力：James Atwood，Pallavi Baljekar，Parker Barnes，Anurag Batra，Eric Breck，Peggy Chi，Tulsee Doshi，Julia Elliott，Gursheesh Kour，Akshay Gaur，Yoni Halpern ，Henry Jicha，Matthew Long，Jigyasa Saxena 和 D. Sculley。