向 OpenAI 喊話：語言模型啥時候開源？
在剛剛過去的情人節這天，OpenAI 曝光了兩個重磅訊息：一是提出了一種全新的代表當前最高水平的語言模型；二是終結了其與開源社群的愛情。
在被稱為“自然語言處理的 Imagenet 時代”，研究人員一直在訓練越來越龐大的語言模型，並用它們“遷移學習”其他任務，如問答和情感分析。 例如 fast.ai 的 ULMFit，OpenAI 的 GPT，AI2 的 ELMO，谷歌的 BERT，以及現在的 GPT-2，它是原始的 Generative Pre-Training Transformer（GPT）的增強版本。
OpenAI 釋出新研究並取得令人矚目的成果，這一點都不令人驚訝。 這個公告的特別之處在於 OpenAI 故意決定不完全開源他們的工作，理由是擔心他們的技術會被濫用於垃圾郵件或虛假新聞等“惡意應用程式”。 這在 Twitter 和 Reddit 等線上論壇上引發了一場爭論，以及關於人工智慧研究如何變得“太危險而不能釋出”的媒體報道。
雖然 OpenAI 關注可能的濫用行為是正確的，但我不同意他們決定不開源 GPT-2。 理由有兩點：首先，只有某些特定型別的危險技術才應該被通過限制訪問得以控制；其次，在此分析的基礎上，我認為不予公開完整的 GPT-2 模型不僅在安全方面是不必要的，而且也不利於 AI 技術的未來發展。
欺騙性和破壞性技術
我一般性地將有可能被濫用的現代技術歸類為具有破壞性的技術或具有欺騙性的技術兩類。 破壞性技術主要運作在物理領域， 例如化學武器、實驗室設計的超級病毒、致命的自動化武器和原子彈等。
另一方面，欺騙性技術主要在我們的思想領域中運作，並且可能被大規模地濫用以操縱和控制人們，例如，Deepfakes、Photoshop，或回顧歷史，網際網路或印刷機都是這樣的技術。 除了自動化武器之外，對人工智慧技術被濫用的擔憂往往屬於這一類。
對於足夠危險的破壞性技術，保護社會的唯一方法是嚴格限制使用（例如鈾核武器）及相關知識（例如製造抗生素抗性細菌的說明）。如果沒有其他控制機制，僅僅拒絕公佈有關危險技術的細節是不夠的：除非研究被某些外力強行阻止，否則技術進步的快速步伐會導致任何新的發現都將在幾年甚至幾個月內被獨立復現。以這種方式限制技術是非常苛刻的，並且遠非萬無一失。恐怖分子總是有機會蒐羅到足夠的放射性物質製造出粗糙的炸彈，如果原子彈可以通過零件和易於線上獲得的指令組裝而成，地球將會成為墳場，而我們目前對此別無選擇。
然而，對於欺騙性技術，還是有更有效的替代選擇的。這就是將其強大的知識儘可能公開，而不是壓制。雖然違反直覺，但這種控制方法依賴於我們認識到如果公眾廣泛意識到其操縱的可能性，那麼欺騙性技術將喪失其大部分威力。雖然對核武器的瞭解不會使我免於後果，但對語音合成最近進展的認識將使我更加懷疑奧巴馬會說中文。子彈不會歧視一個人的信仰，但是我對現代照片編輯的瞭解讓我很難相信服普京能夠騎熊。
舉一個具體的例子，Photoshop，儘管它有可能導致混亂，但謝天謝地它並沒有摧毀現代社會。
Photoshop：案例研究
當相機在 19 世紀被髮明時，它被譽為記錄歷史的一種嶄新且公正的方式。 人們可以直接瞥見過去的公正記錄，而不是依靠不可靠的二手資訊來為自己重溫這一時刻。
在攝影的早期，人們並不知道照片可以被編輯。 臭名昭著的獨裁者約瑟夫斯大林利用這種無知，從根本上改寫了歷史。 私人政敵被處決，接著從重要歷史事件的照片中將其刪除，期望最好沒有人知道。 政治宣傳被貼在抗議者手中的標誌上，製造了對政治意識形態的支援。 這種技術使斯大林能夠在不失去權力的情況下監禁並處死了數百萬公民。
Photoshop 於 1988 年釋出後，人們自然會擔心開放照片編輯技術會產生嚴重的濫用行為。三十年後，社會依然幾乎毫髮無損，儘管 Photoshop 很容易使用，並且因其無處不在而使其演變成一個動詞。為什麼呢？正因為每個人都知道 Photoshop。對於深知其強大的人群來說，Photoshop 僅適用於惡作劇，讓缺席的朋友感覺被包括在團體郊遊中，以及偶爾短暫的宣傳噱頭。相反，對於那些像一百年前那樣認為照片是現實的不可改變的快照的人群來說，照片編輯是可以做出差異資訊的最終宣傳。
儘管語音、文字和影象生成的最新進展可能會讓一些人擔心大災難即將到來，但我相信這些技術將遵循與 Photoshop 類似的趨勢：社會將學會變得更加有懷疑精神。
GPT-2 的分析
具體來分析文字生成技術，OpenAI 通過選擇了一些模型生成的故事來證明 GPT-2 可能帶來的危險。為方便起見，我在下面引用了他們給出的關於獨角獸的示例故事中的兩個片段。
提示：在一個令人震驚的發現中，科學家在安第斯山脈發現了一群生活在偏遠的從未被探索過的山谷中的獨角獸。更令研究人員驚訝的是，獨角獸會講完美的英語。
模型：這位科學家按照它們獨特的頭角給種群命名為奧維德獨角獸。這些有銀白色四角的獨角獸以前不為科學所知。經過近兩個世紀，現在這種奇怪現象的神祕面紗終於被揭開了。
請注意，這是多次執行模型並手動挑選的最佳樣本，除此之外，提示本身也是挑選的。特別地，提示說英語的獨角獸很容易掩蓋更深層次的問題：生成通常被認為是無意義的句子更可能“擬合”無意義的提示。
即使考慮到上述情況，這個簡短示例仍然存在嚴重的一致性缺陷。第一段話暗示獨角獸只有一個角，而第二段則暗示它們有四個角。此外，儘管提示中指出獨角獸的發現是最近的新聞，但生成的文字中第三句話暗示了獨角獸是在兩個世紀前被發現的。
這可能聽起來像是在挑刺，但我認為這正是許多深度學習模型都會面臨更深層問題的證據：GPT-2 沒有真正“理解”它正在生成的文字。生成一眼看上去合理的句子非常容易。例如，後現代主義的論文生成器和 Mathgen 可以使用上下文無關文法來生成“語法正確”卻沒有任何語義的句子。畢竟，對於不熟悉數學的人來說，下面的兩個方程式看起來都像是胡言亂語。
生成有效的句子很容易，但生成一致性的句子卻很難。
進一步檢查非“櫻桃採摘”式的原始輸出揭示了類似的問題。 為了公平對待 OpenAI，GPT-2 生成的結果比我見過的任何其他生成式語言模型都要好，但距離人類水平的一致性還有很長的路要走。 至關重要的是，OpenAI 展示的例子都沒有達到被惡意機構直接濫用的水平。
此外，GPT-2 並沒有明顯優於已開源的其他姐妹語言模型。 BERT 證明了其雙向編碼器提供的效能比像 GPT 這樣的單向語言模型要好，且與模型的大小無關。而 OpenAI 尚未釋出類似的 GPT-2 與其他現有的模型的效能對比結果。 由於他們也沒有對模型進行微調，因此我們無法直接比較像自動摘要或翻譯這樣的下游任務的效能。
為什麼開源完整模型很重要
有些人可能認為開源完整的模型是不必要的，僅僅披露研究結果就足夠了。這種想法在某些方面是錯誤的。
人工智慧研究的爆發部分歸功於開源，因為研究人員可以在眨眼之間在現有研究的基礎上持續迭代，而不需要從頭開始重建先前的工作。作為人工智慧研究中最具影響力的組織之一，OpenAI 強大的開源歷史無疑激勵其他人也這樣做。如果 OpenAI 的新政策扭轉了這一趨勢，其他研究人員可能會效仿，威脅到為我們的領域帶來如此多利益的開源文化。
此外，開源鼓勵向公眾傳播資訊。通過開源，thispersondoesnotexist.com 使其成為 ProductHunt 的頂級產品。通過開源，藝術家們製作了第一部由人工智慧技術生成的作品，並在一次大型藝術品拍賣會上賣出了。雖然 OpenAI 的研究部落格只有熱心的機器學習從業者閱讀，但基於開源的工作可以覆蓋更廣泛的受眾，而這些受眾不太可能看到原始的研究公告。
開源也確保了研究的合法性。在一個充斥著破碎希望的領域，研究人員可以通過檢查開原始碼來複制非凡的主張，這是至關重要的。 OpenAI 的聲譽確保了沒有人會質疑這個特定的結果，無論它是否會開源，但這種聲譽是建立在先前優秀的開源工作的基礎之上的。請記住你不撒謊不能代表其他人也不會，並且沒有辦法驗證，研究人員或公眾都無法透過煙霧和鏡子看到真相。
這並不是說一切都應該開源而不需要其他考慮，極其危險的破壞性技術永遠都不應該輕易被獲得。甚至對於特別危險的欺騙性技術，最好在論文發表和程式碼釋出之間留足夠的時間，以防止快速反應的惡意行為者在公眾有時間全面處理新結果之前進行突然反應。如果 OpenAI 認為 GPT-2 會導致這樣的結果，我會建議他們在不久的將來開源他們的模型。
最後的想法
人工智慧研究從開源文化中獲益匪淺。雖然大多數其他學科把最先進的研究成果鎖在昂貴的付費牆背後，但任何擁有網際網路連線的人都可以像斯坦福大學的教授一樣進行同樣的前沿 AI 研究，並且執行實驗就像克隆開原始碼庫和租用只需幾美分一小時的雲端 GPU 一樣簡單。我們致力於通過公開發布學習材料、新的研究成果以及最重要的是我們專案的原始碼來實現人工智慧的民主化，這也是人工智慧成為一個發展如此迅速的領域的原因。
我讚揚 OpenAI 推出了極為出色的新研究，推動了語言模型和文字生成的極限。我也感謝他們刻意思考並願意參與急需的研究倫理討論，儘管人工智慧領域至關重要，但人們並不經常討論這個問題。 OpenAI 提出有關濫用 AI 的問題是正確的，但不正確地將其用作不開源研究的理由。
我真誠地希望 2019 年不會成為機器學習從一個開放系統轉變為一個封閉系統的轉折點，這樣的封閉系統既不安全也不利於推動領域進步。 OpenAI，為了我們的未來，請開源您的語言模型。
原文連結： https://thegradient.pub/openai-please-open-source-your-language-model/