GN-Glove 性別中立的詞嵌入學習
論文： https:// arxiv.org/abs/1809.0149 6
程式碼： https:// github.com/uclanlp/gn_g love
編譯：weakish
詞嵌入 技術已經成為眾多自然語言處理（NLP）應用的基礎部分，然而，在現有語料上訓練的詞嵌入，常常受到社會偏見的影響，比如性別刻板印象。比如，“programmer”（程式員）是一個性別中立詞（gender-neutral words），但在新聞語料庫上訓練的嵌入模型看來，“programmer”和“male”（男性）一詞的聯絡比“female”（女性）更緊密。
帶有這樣的偏見的詞嵌入模型，會給下游的NLP應用帶來嚴重問題。例如，基於詞嵌入技術的簡歷自動篩選系統或工作自動推薦系統，會歧視某種性別的候選人（候選人的姓名反映了性別）。除了造成這種明顯的歧視現象，有偏見的嵌入還可能暗中影響我們日常使用的NLP應用。比如，在搜尋引擎中輸入“computer scientist”（電腦科學家），由於在嵌入空間中，“computer scientist”和男性姓名更接近，和女性姓名更疏遠，基於嵌入技術的搜尋演算法傾向於將男性科學家排在女性科學家之前，阻礙人們認識女性科學家，進一步加劇電腦科學領域的性別不平衡性。
Bolukbasi等提出，通過後處理，可以緩解詞嵌入的性別刻板印象（arXiv:1607.06520）。具體方法是將性別中立詞投影到一個正交於性別維度的子空間，該性別維度由性別定義詞（gender-definition words）定義。所謂性別定義詞，是指定義中天然聯絡性別的詞彙，例如“mother”（母親）、“waitress”（女侍者）。
然而，這一做法有兩個侷限：
- 在投影性別中立詞之前，需要首先通過分類器識別出性別中立詞。如果分類器犯錯，那麼錯誤會傳播到整個模型中，影響最終表現。
- 完全移除了性別資訊，但是在某些領域（比如醫學、社會科學），性別資訊是不可或缺的。
而UCLA的Jieyu Zhao、Yichao Zhou、Zeyu Li、Wei Wang、Kai-Wei Chang在即將召開的EMNLP 2018上發表的論文Learning Gender-Neutral Word Embeddings（學習性別中立詞嵌入），基於保護屬性（protected attributes）隔離性別資訊，克服了上述兩個侷限。
方法
這篇論文改造了GloVe模型，在其基礎之上增加了性別保護屬性。雖然論文選擇GloVe作為基礎嵌入模型，但論文提出的方法是通用的，可以應用於其他嵌入模型和屬性。
GloVe
首先簡單溫習下GloVe。
GloVe的主要直覺是，相比單詞同時出現的概率， 單詞同時出現的概率的比率 能夠更好地區分單詞。比如，假設我們要表示“冰”和“蒸汽”這兩個單詞。對於和“冰”相關，和“蒸汽”無關的單詞，比如“固體”，我們可以期望 
較大。類似地，對於和“冰”無關，和“蒸汽”相關的單詞，比如“氣體”，我們可以期望 
較小。相反，對於像“水”之類同時和“冰”、“蒸汽”相關的單詞，以及“時尚”之類同時和“冰”、“蒸汽”無關的單詞，我們可以期望 
、 
應當接近於1。
具體而言，GloVe基於加權最小二乘迴歸模型，輸入為單詞-上下文同時出現頻次矩陣：
其中， 為加權函式，降低過大的同時出現頻次的影響。
GN-GloVe
這篇論文提出了一個GloVe的性別中立變體，稱為GN-Glove. GN-Glove將詞向量 
分成兩部分 
，其中 
表示中立成分，而 
則表示性別成分， 是為性別資訊保留的維數（論文中將 設為1，即為性別資訊保留一個維度）。
GN-GloVe訓練的目標是將性別特徵作為保護屬性隔離在w(g)中，使w(a)中的資訊不受性別影響。相應地，目標函式包括三部分：
其中， 
和 
為超引數，調節目標函式不同部分的影響力。
是我們之前給出的GloVe的目標函式， 
和 
迫使性別資訊限於 
之中，使 
保持性別中立。
現在我們來考慮下，如何定義 ，可以讓性別資訊儘量隔離在 中，也就是讓 表示更多的性別資訊？
我們可以在監督學習的背景下考慮這個問題。假設我們有一些（人工標註的）性別定義詞，那麼，如果 能夠很好地表示這些性別定義詞的資訊，那麼表示男性的性別定義詞和表示女性的性別定義詞的差距會很大，從而充分體現性別差異。比方說，“父”的 是2.0，“母”的 是-2.0，相比“父”的 是0.02，“母”的 是0.03，一般來說，前者要更好。由此，我們給出如下的 定義：
簡單說明一下上面的公式， 
和 
分別是男性定義詞（male-definition word）和女性定義詞（female-definition word）的集合，論文基於WordNet的定義劃分這兩個集合。考慮的是總體的情況，所以進行了累加。因為論文為性別資訊保留了一個維度，所以上面舉例的時候直接使用了實數表示 ，但實際上性別資訊可以佔用不止一個維度，因此 的定義使用了矩陣運算。最後，我們需要最大化男性定義詞和女性定義詞之前的差距，但最終我們需要最小化目標函式值，所以最後進行了取反操作。
當然， 的定義不止這一種。我們還可以將 的取值限制在一定範圍內，比如[-1, 1]，然後儘可能將 往兩端推：(1- 
)2+(-1- 
)2. 比如，假設“父”向量的 是1，而“母”向量的 是-1，代入上式，結果為0.
由此我們可以得到 的第二種定義。當然，同樣， 實際上是向量，所以我們引入一個向量 
，該向量的所有分量為1. 然後我們考慮的也是 和 上的整體情況，所以累加一下。最後，[-1, 1]是一個比較合適的取值範圍，但我們完全可以選擇其他取值範圍。所以我們再引入兩個係數，將取值範圍設定為 
. 最終的 定義為：
好了，接下來我們討論 ，也就是處理w(a)的部分。
這裡，我們引入了 
，嵌入空間的性別方向。性別方向的概念很簡單。假設我們有很多對性別詞，比如“father”（父）和“mother”（母）、“man”（男人）和“woman”（女人）、“國王”（king）和“queen”（王后），將這些成對的性別詞向量相減，比如“父 - 母”、“男人 - 女人”、“國王 - 王后”，然後取平均，就得到了性別方向。具體來說，可以使用以下公式表示：
上式中， 
是預定義的成對性別詞向量集合。這裡我們沒有直接將詞向量 相減，而是將 
相減。這是因為，通常情況下，用於保留性別向量的維度很少（論文只使用了一個維度），而一般來說詞向量至少有好幾百維度。而且，在訓練開始階段， 中同樣包含很多性別資訊（否則就不需要訓練了）。
然後，類似 和 ，我們可以基於WordNet劃分性別中立詞集合 
。由於是性別中立詞，所以我們期望它們在性別方向上的投影接近零。這和Bolukbasi等將性別中立詞投影到一個正交於性別維度的子空間的做法類似。
總之，我們用標記過的性別定義詞來優化 
，用標記過的性別中立詞來優化 
，再加上GloVe原本的優化目標，就得到了GN-GloVe的優化目標。
而且，整個目標函式 
是可微的，所以論文在訓練時能夠採用隨機梯度下降進行優化。為了簡化訓練詞嵌入的計算複雜度，論文假定性別方向 
是一個固定向量（也就是說，在更新 的時候，不計算在 上的梯度），只在每個epoch開始的時候更新下 。
試驗
論文做了全面的試驗，驗證隔離性別資訊至特定維度的想法的有效性：
- 可視化了嵌入空間，表明GN-GloVe分隔開了保護屬性和其他潛屬性。
- 在新的標註資料集上測量了GN-GloVe區分性別定義詞（gender-definition words）和性別刻板詞（gender-stereotype words）的能力。
- 評估了GN-GloVe在標準詞嵌入基準資料集上的表現，表明隔離性別資訊沒有影響詞嵌入的功能。
- 演示了GN-GloVe在一個下游應用中降低性別偏差的效果。
設定
對比的基線為原生GloVe和Hard-Glove（即之前提到的Bolukbasi等提出的方法）。
所有嵌入基於2017年的英文維基百科（2017 English Wikipedia dump），GloVe的超引數使用預設值。
訓練GN-GloVe時，論文將每個維度的取值範圍限定於[-1, 1]，以避免數值問題。λd和λe均設為0.8. 根據論文作者的初步研究，模型對這些超引數不敏感。另外，除非特別註明， 使用第一種定義（L1）。
視覺化嵌入空間
論文可視化了詞向量的性別分量wg在嵌入空間中的分佈（為了便於檢視，將橫軸拉伸至[-2, 2]）。
上圖中，紅點為女性定義詞（例如waitress女侍者、nun尼姑、maid女僕、housewife家庭主婦、businesswoman女商人、ballerina芭蕾舞女演員、actress女演員），綠三角為男性定義詞（例如waiter男侍者、salesman男售貨員、policeman男警察、monk和尚、landlord男地主、headmaster男校長、handyman男雜務工、congressman男議員）。圖中的性別定義詞位於橫軸的兩端，這並不出乎我們的意料，畢竟目標函式中 部分的優化正是基於性別定義詞的集合 和 。
藍叉表示性別中立詞。從上圖可以看到，雖然確實存在越靠近0，性別中立詞的性別分量分佈就越密集的趨勢，但總體上來說性別中立詞的性別分量分佈得比較分散，這說明基於維基百科訓練的性別中立詞仍然包含性別資訊。其中，紫五星是一些性別中立的表示職業的詞彙。這些詞彙的視覺化表明GN-GloVe能夠恰當地保留性別中立詞中的性別資訊。例如，圖中的“nurse”（護士）的性別分量更接近女性，而“captain”（船長）的性別分量更接近男性，和日常的刻板印象一致。
為了驗證GN-GloVe很好地隔離了性別資訊，論文可視化了上面這些表示職業的詞彙的中立成分 在性別方向 
上的投影（即 和 的餘弦相似度）。
可以看到，相比性別刻板印象嚴重的GloVe，GN-GloVe的中立分量在性別方向上的投影接近零，這說明GN-GloVe很好地隔離了性別資訊。
論文統計了表示職業的詞彙在性別子空間上的投影平均長度。GloVe是0.080，GN-Glove是0.052. 也就是說，相比GloVe，GN-Glove降低了35%的性別偏差。當然，完全去除性別資訊的Hard-GloVe能取得更好的結果，0.019，然而，這也意味著Hard-GloVe損失了性別資訊，並且區分性別刻板詞和性別定義詞的能力較差。
SemBias
為了研究模型表示的性別資訊的質量，論文按照SemEval 2012 Task2的方式，建立了一個SemBias資料集。這個資料集中的每個樣本包含4對單詞，即一對性別定義詞（例如，waiter - waitress，男侍者 - 女侍者），一對性別刻板詞（例如，doctor - nurse，醫生 - 護士），兩對與性別無關的意思相近的詞（例如，dog - cat，狗 - 貓，cup - lid，杯 - 蓋）。模型需要比較這四對詞中，哪一對和“he - she”（他 - 她）更接近。理想情形下，模型應當選中性別定義詞對。
從上表我們看到，GN-Glove在SemBias上達到了97.7%的精確度，顯著高於GloVe和Hard-GloVe的表現。SemBias（subset）是包含未在訓練中作為種子詞彙使用的單詞對的資料子集。在這一子集上，GN-GloVe的表現就更突出了，這表明GN-GloVe可以很好地將基於訓練集學習到的識別能力推廣到其他性別定義詞。相反，移除了所有性別資訊的Hard-GloVe的表現就很糟糕了，幾乎是在隨機猜測了。
詞彙相似度和類比
在標準詞嵌入基準資料集上的評估表明，GN-GloVe在相似度任務上達到了更高的精確度，而在類比任務中的評分略有下降。總體而言，GN-GloVe和GloVe、Hard-GloVe表現大致相當，隔離性別資訊並未影響詞嵌入的一般功能。
簡單說明一下上面的表格。類比任務回答“A對應B，就像C對應_？”這一問題，也就是在嵌入空間中找到最接近wA - wB + wC的詞向量w. 相似度任務則評估詞嵌入模型捕捉單詞相似度的能力（對比人類標註）。
指代消解
最後，論文測試了GN-GloVe在下游應用指代消解上的表現。
論文使用了Ontonotes 5.0和WinoBias這兩個資料集。其中，WinoBias資料集由兩部分構成，PRO子集偏向刻板印象，ANTI子集反刻板印象。例如，PRO子資料集中有一個樣本是“The CEO raised the salary of the receptionist because he is generous.”（CEO給接待員漲了薪水，因為他很慷慨。）在這個句子中，代詞“he”（他）指代“CEO”，和社會的刻板印象一致。而ANTI子資料集包含幾乎一模一樣的樣本，只是性別人稱代詞換成相反的性別，也就是把“he”（他）改成“she”（她）。這和社會的刻板印象相悖，在當前社會，女性CEO在所有CEO中所佔的比例遠低於男性。
上表中，Avg表示WinoBias資料集的平均F1值（PRO和ANTI的F1值的平均），Diff表示PRO和ANTI的F1值差異的絕對值（Diff越低，說明系統中的性別偏差越低）。總體上來說，在OntoNotes資料集上，GN-GloVe取得了和GloVe、Hard-GloVe相當的表現。而在WinoBias資料集上，相比GloVe，GN-GloVe顯著降低了性別偏差。在只使用中立成分w(a)的情況下，GN-GloVe的性別偏差水平接近完全去除性別資訊的Hard-GloVe.
結語
在本文的結尾，讓我們回顧一下GN-GloVe的優勢：
- 通用性高，適用於任何語言（只需提供預定義的種子詞彙），可擴充套件至GloVe以外的嵌入模型和性別以外的保護屬性。
- 隔離了性別資訊，既緩解了在下游應用中加劇刻板印象的問題，又可用於社會科學研究等需要性別資訊的場景而無需重新訓練詞嵌入。
- 隔離性別資訊後，改善了詞嵌入的可解釋性。
- 不依賴分類器區分性別中立詞，避免了分類誤差傳播問題。