如何做好論文評審工作？CVPR 2019程式委員會有話說
地址：https://www.dropbox.com/s/725p60wcajbb8xh/How%20to%20Review%20for%20CVPR.pptx
該教程主要介紹了：
-
為什麼評審人的工作如此重要
-
論文決策流程
-
如何寫好論文評審，以及正反例
-
給評審人的小貼士
為什麼評審人的工作如此重要？
因為評審任務都指望評審人呀！首先領域主席（Area Chair）在論文接收或拒絕決策上需要有合適的準則，因此他們需要根據評審人的反饋做適當的調整。其次每一個論文作者需要公平對待，每一條有建設性的反饋都需要認真對待，這些都需要依賴於評審人的工作。最後，研究社群希望確保每一篇接收論文都能做出特定的貢獻，因此評審人是新思想的守門者。
那麼如何寫好論文評審呢？
-
瞭解論文決策流程；
-
學習好的評審意見的結構；
-
努力理解每一篇論文、相關文獻，然後寫出清晰的評審意見。
論文決策流程
首先，我們來看論文決策流程（此處應指 CVPR 的流程），如下圖所示：
具體來說：
-
程式委員會主席（PC）將論文分配給領域主席（AC），通常給每位領域主席約分配 35 篇論文。
-
領域主席為每篇論文指定大約 8 名評審人員。
-
使用優化演算法將論文分配給評審人員（每篇論文 3 名評審），該分配考慮到領域主席的建議、衝突約束等因素。
-
評審人提交初始評審結果，通常每人評審 6-12 篇論文。
-
AC 和 PC 檢查評審是否完整、是否存在明顯疏漏。
-
作者拿到評審結果（幾家歡喜幾家愁……），對論文和評審結果進行思考和閱讀，然後提交反駁信（rebuttal）。
-
評審人和 AC 基於論文、所有評審意見和 rebuttal 進行討論。評審人更新評分和理由。
-
AC 做出初步決策（通常是易於決策的論文，比如所有評審全都接收或拒絕的論文）。
-
領域主席會議上完成 所有論文接收和拒絕決策。AC 需要在更大談論組進行檢驗，且該小組內不能有衝突。
-
PC 最終決定 poster/spotlight/oral 論文，主要基於 AC 的推薦，但也要考慮時間約束、空間約束和主題多樣性。
如何寫好論文評審
-
Summary：解釋論文的主要想法、貢獻及意義，即對論文的摘要總結。該總結將幫助領域主席瞭解你的評審意見的其他內容，並確保你作為評審人員確實讀懂了論文。
-
Strengths：描述論文的價值所在，比如經過實驗驗證的有趣想法、對相關研究的新穎組織、新工具、優秀的結果。最重要的是，對該論文主題感興趣的人能從中學到什麼。
-
Weaknesses：描述論文的缺陷，比如缺少受控實驗來驗證結論、出現誤導性的論斷或技術錯誤、閱讀論文能否幫助讀者理解（及完美復現）方法和實驗設定。
-
Rating and Justification：謹慎解釋該論文被接收或拒絕的原因，這部分應該明確你認為最顯著的優缺點。
以下評審示例是 ICLR 的已公開評審結果。ICLR 的評審意見是一個整體，CVPR 是分成若干部分，形式雖然不同，但評審標準一致。
我們著重看一下這些示例的形式，而不是內容的準確度。（內容的準確度當然很重要，不過需要更強的專業知識和時間來分析。）
該評審意見質量不錯。雖然缺少了對論文貢獻的總結，但該評審意見明確解釋了論文的接收原因。
-
首先評論明確地解釋了論文的接收原因，這是一個加分項。
-
Review 部分的第一段是減分項，沒有總結論文的貢獻或新穎之處。
-
Review 部分的第二段是加分項，表明評審人嘗試思考論文的缺點，提出了對作者有用的反饋。
該評審意見的質量：尚可。解釋了該論文決策的原因，提供了詳細的反饋，但沒有充分解釋論文的優缺點。
-
Summary 部分強調了論文的主要想法和貢獻，但沒有涉及實驗設定和論文貢獻的意義。
-
優缺點部分分條寫出了論文的優缺點，但沒有提供足夠的細節，如論文的原創點、評估的缺陷等。
-
Evaluation 部分是加分項，提出了澄清問題的建設性反饋意見。
-
Minor Points 部分是加分項，明確了這部分內容不是論文決策的重要影響因素。
-
Final remarks 部分寫明瞭評分的關鍵積極因素，缺點是沒有解釋缺點對評分影響不大的原因。
該評審意見的質量：很差。只列出了缺點和澄清問題，但沒有論文內容總結和決策判斷。因此，該評審對作者或領域主席來說都是不明確的，因為缺少主要的評分依據。
-
評審的第一點優點是指明瞭論文哪些部分使這篇論文「不夠新穎」。缺點是沒有說明這些方法的相關性，因此不明確這些技術是否類似。
-
第二點的內容不夠清晰，是因為該貢獻沒有被實驗證明，還是收斂速度不同。
-
其餘幾點可能有助於作者改進論文，但是沒有明確指出它們是否是評分的重要影響因素。
該評審的主要問題在於：
-
領域主席在不讀論文的情況下無法有效利用該評審，因為該評審沒有總結／判斷。
-
沒有列出優點，這可能表明評審人只是找理由拒絕接收該論文。
-
作者和領域主席不知道列出的哪些點是拒絕接收該論文的重要影響因素。
給評審人的小貼士
領域主席是你的主要觀眾。確保評審意見完整，明確闡述你的觀點和評分。好的評審意見應該用沒讀過原論文的人也能明白的方式介紹論文的主要想法和優缺點。
花時間做好評審工作。很多有經驗的評審人一篇論文只用 2-4 個小時。如果你初次接觸評審工作（比如你還是研究生），至少每篇論文花上 4 個小時，用這些時間讀兩遍論文、思考相關研究、查詢不熟悉的技術等。
意識到自己的偏見。我們都傾向於把與自己的研究方向相關的論文給高分。嘗試忽略「主題的有趣性」，關注論文能夠帶給感興趣的讀者哪些新東西。