轉載於 :http://blog.jobbole.com/52575/

譯者注：根據維基百科相關詞條，Hacker News是一家關於計算機黑客和創業公司的社會化新聞網站，與其它社會化新聞網站不同的是， Hacker News 沒有踩或反對一條提交新聞的選項；只可以贊成或是完全不投票。簡而言之，Hacker News 允許提交任何可以被理解為“任何滿足人們求知慾”的新聞。

更新（11/18）：關於罰分機制的文章被罰分了

十分諷刺的是，這篇文章在Hacker News上被罰分了。這篇文章被放到首頁後的幾分鐘，就被罰了0.2分，直接導致這篇文章從網站首頁消失。下圖中的黑色線，描繪了這篇文章在所有Hacker News文章中的排名情況。你可以看到，在被罰分之後，它的排名明顯下跌。灰色線顯示的是如果不被罰分，這篇文章可能的排名情況。如果沒有被罰分，這名文章可以排進前五，但是被罰分之後，這篇文章甚至沒能回到首頁（排進前30）。下方的綠色線描繪了這篇文章的初步評分。（11/26：我被告知，這個罰分是由於“投票探測”程式被錯誤出發引起的）。

Hacker News排名的基本公式已經公開好幾年了，但是人們依然對此有所疑惑。公開的程式碼是不是實現了真正的演算法？排名僅僅與投票有關，還是也受到一些不可見因素的影響？在排名中，關於美國國家安全域性的新聞是不是會被降低排名？為什麼你評論了首頁的文章之後，那篇熱門文章就忽然從首頁消失？

根據幾天來對HN上排名前60的新聞的仔細分析，我可以回答這些問題。公開的計算公式基本上是精確的。對於排名的調整工作比你想象的還要多，首頁上20%的文章會被以各種方式罰分。所有標題中含有“美國國家安全域性”的新聞都會被罰分並且排名迅速下跌。一則“有爭議”的新聞在被評論了40次之後，被嚴厲地罰分。這篇文章詳細解釋了得分和罰分的機制。

排名機制是怎樣工作的

文章的得分是基於他們提交以來，獲得的贊成投票數，同時通過下列公示計算出得分。

由於在這個公式中時間的指數比投票的指數更大，因此，一篇文章的得分最終會降到0分。所以，沒有一篇文章會長期在首頁出現。這個指數稱為重力因子。

你可能認為每當你瀏覽HackerNews網站的時候，每則新聞都通過上面的公式計算了得分，並且排序來決定它們在網頁上的最終順序。但是為了高效，新聞只是偶爾被重新排序。當有新聞被使用者贊成時，它被重新排序，在列表中上移或下移調整到適當的排序位置，並不改變其他新聞的得分和相對順序。這樣，重新排序的工作就被大大減少了。但是，有可能一則新聞不再獲得投票並且最終停留在一個較高位置。為了避免這種情況的出現，每隔30秒，隨機選出前50則新聞中的一則進行重新排序。結果是，一則新聞如果一直沒有獲得投票，那麼這則新聞可能在很長時間裡被“錯誤”排序。同時，網頁可以被快取90秒。

原始得分和11月11日的頭條新聞

下圖展示了在11.11日當天HN網站上排名前六十的文章的原始得分（不考慮罰分）。每一條線對應一篇文章，不同顏色代表了文章在網頁中的位置。比如，紅色表示在HN中的頭條新聞文章。值得注意的是，由於罰分，獲得最高原始得分的文章往往不是網頁上的頭條新聞。

這幅圖中有一些有意思的現象。一篇文章的得分會很快增長並且在未來的幾小時中緩慢降低。這一現象的主要原因是計算得分的公式：一篇文章得到連續的贊成投票後，得分會迅速到達峰值，然後得分逐步減小。但是，觀察到的峰值增長更快——因為一篇文章在釋出的一兩個小時內會獲得很多的贊成投票，然後投票的速度會減慢。由於這兩個原因，出現了上圖所示的陡峭曲線。

有一小部分文章每天的得分遠遠高於其他文章，同時，很多文章的得分處在所有文章的在中等水平。一些文章的得分很高，但是不幸的是，它們比一些更加受歡迎的文章得分稍低。當目前得分第一的文章得分逐漸降低，而後來的文章得分正在上升的空隙時間內，其他文章很容易獲得暫時的第一名位置。

仔細觀察原始得分最高的文章（上圖所示）和紅線所示的排名最好文章的差別，你會發現罰分規則的應用。早上，《Getting website registration completely wrong》一文獲得了第一名，但是由於爭議它被罰分並且排名迅速下降到了首頁底部。因此，《Linux ate my RAM》就在《Simpsons in CSS》獲得第一之前，輕鬆佔領了第一的位置。過了一會兒，在《Apple Maps》達到了第一之後，也被罰分，導致它失去了第一的位置並且在排名上迅速下滑。《Snapchat》也排到過第一名的位置，但是，在上午8:22分，這篇文章被罰分，然後排名迅速下跌，完全消失在圖中。《Why you should never use MongoDB》一文非常受歡迎，並且在11月11日這一天的大部分時間裡，名列第一，除了它被罰分後下滑到左右第七的位置。《Severing ties with the NSA》一文在一開始就由於標題中的美國國家安全域性被罰分，但是因為它非常受歡迎，因此在罰分之後依然獲得了第一名的位置。但是，它很快被強加了更嚴厲的罰分，迫使這篇文章下滑至首頁的底部。最後，在這一天即將結束的時候《$4.1m goes missing》一文被罰分。事實表明，即使沒有被罰分，它第一的位置也會被《FTL》一文取代。

圖中綠色的三角形和文字說明了爭議罰分的應用。藍色的三角形和文字表示文章由於罰分而被遺忘，跌出了前60的排名。這裡沒有展示較為溫和的罰分。

顯然，HN網站上第一名的內容並不是“自然”形成的，而是持續對很多文章應用罰分機制造成的。目前不清楚的是，這些罰分是由於HN管理員還是來自已標記文章。

獲得自動罰分的提交

一些文章，由於標題會在提交時被自動罰分，還有一些文章由於涉及的領域也會被自動罰分。比如：任何在標題中含有NSA美國國家安全域性的文章會被自動罰0.4分。我試圖找了一些會被自動罰分的關鍵詞，比如：可怕的，比特幣和泡沫，但是它們沒有被罰分。

我注意到，很多網站引用的文章會被自動罰分0.25—0.8分，比如：arstechnica.com, businessinsider.com, easypost.com, github.com, imgur.com, medium.com, quora.com, qz.com, reddit.com, rt.com, stackexchange.com, theguardian.com, theregister.com, theverge.com, torrentfreak.com, youtube.com.我確定，實際的名單比這個更長。（這是“禁用”網站的一部分）一項有趣的理論是：從流行網站上獲得的新聞會被許多人並行提交，因此會比其他文章獲得更多的贊成投票。對於來自於流行網站的新聞自動罰分，有助於抵消這樣的作用。

罰分的影響

採用得分計算公式，可以計算罰分的影響。如果一篇文章被罰了0.4分，那麼這篇文章獲得的每一個贊成投票，被算成0.3票。或者，這篇文章會以比正常下降速度快66%的速度在排名中下滑。0.1分的罰分，相當於每一個贊成投票，被算為0.05票，或者是，文章以3.6倍下滑速度在排名中下降。因此，0.4分的罰分影響很大，而0.1分的罰分可以認為是相當嚴厲的。

爭議

為了防止在HN上發生網路論戰，當文章有“過多”評論是會由於“爭議”被狠狠罰分。在公開的程式碼中，控制因子被設定在一篇文章多餘20條評論，以及評論多餘贊成投票。滿足這兩個條件的文章，會被以（贊成/評論）^2的比例計算得分。但是，實際應用的公式並不如此——文章獲得的評論多於贊成投票，同時評論數多餘40則會被罰分。根據歷史資料，我猜測公式中指數為3，而不是2，但是我還沒有證明。

爭議罰分會忽然發生並且給文章的排名帶來災難性的後果，一篇文章在一分鐘內排名很高，但是當評論數達到40時排名迅速下滑。如果你很疑惑為什麼一篇很受關注的文章忽然從首頁小時了，那麼可能的原因就是爭議罰分。比如《Why the Chromebook pundits are out of touch with reality》一文在評論數達到40時，忽然從第5名下滑至22名，《Show HN: Get your health records from any doctor’》原來的排位是17，但是當評論數達到40時，它迅速從前60中消失了。

我的方法

我每分鐘抓取一次/news和/news2中的網頁。我用BeautifulSoup工具解析（有時醜陋的）HTML，並且通過大量的Python指令碼語言處理結果，並且利用難以理解但是功能強大的matplotlib將結果繪製為圖。

分析的基本思想是：利用公式生成初始得分，然後尋找異常情況。在某一個時間點上（比如：11/09 8:46），我們可以計算出排名前十的新聞對應的初始得分：

• 2.802 Pyret: A new programming language from the creators of Racket
• 1.407 The Big Data Brain Drain: Why Science is in Trouble
• 1.649 The NY Times endorsed a secretive trade agreement that the public can’t read
• 0.785 S.F. programmers build alternative to HealthCare.gov (warning: autoplay video)
• 0.844 Marelle: logic programming for devops
• 0.738 Sprite Lamp
• 0.714 Why Teenagers Are Fleeing Facebook
• 0.659 NodeKnockout is in Full Tilt. Checkout some demos
• 0.805 ISO 1
• 0.483 Shopify accepts Bitcoin.
• 0.452 Show HN: Understand closures

我們注意到，其中有三則新聞的排名低於他們得分的排名：The NY Times,MarelleandISO 1.因為NY Times的排名在1.407到0.785之間，因此它的罰分在0.47到0.85之間。同樣的，其他兩者的罰分分別在0.87到0.93,0.60到0.82之間。

我注意到，大部分的新聞是根據它們的得分排序的，同時，異常的表現都是比排名預期要低，暗示著新聞被罰分。這說明實際使用的算分公式與公開的程式碼基本相符。如果兩個公式不同，比如重力因子的指數較大，那麼我會發現隨著他們投票數目的增加或是時間的推移，他們會從“預期”的排名中消失，但是我沒有見到這種情況。

這樣的方法可以證明罰分機制的存在，並且給出罰分的範圍。但是確定精準的罰分是很困難的。你可以預定一個時間範圍，並且希望罰分值會收斂到一個明確的數值上。但是，不同的錯誤來源使得罰分很混亂。首先，相鄰的新聞可能也被罰分，或者採用不同方式算分（比如：招聘啟事）。其次，因為文章不是隨時被重新排序的，一篇文章的位置只是暫時的。第三，隨著時間的變化，對一篇文章的罰分可能有變化。第四，得到的投票數目可能並不是真正意義上的投票數，因為沒有“不贊成”投票。結果是，我試圖確定罰分的估計值，但是數值極不穩定。

一整天的罰分分佈

下圖展示了一天中統計的罰分值。每一條線，代表一篇特定的文章。每一條線的初始值為1（沒有罰分），當文章被罰分時，線條隨之下降。當文章不在前60的時候，這條線就不存在了。罰分可能是0.2和0.4分，也有很多在0.8到0.9的範圍內。看起來，一整天中，早上9點的罰分比較多。由於圖中的噪聲太多，我試驗了不同的演算法來改善這幅圖。

平均有20%的首頁文章，38%的第二頁文章被罰分。（由於某種定義，首頁被罰分的文章出現在首頁的概率較小，因此首頁的罰分比例較低）相比於你的估計，可能有更多的文章被罰分。

得分計算公式的程式碼

HN伺服器上提供了得分演算法的一種實現，以及更新的得分計算公式：

以防你不會閱讀Arc程式碼，上面的程式碼中定義了一些變數：gravity* = 1.8,timebase* = 120(minutes), etc. 然後定義了一種首頁排名方法，對於新聞s排名主要考慮了贊成投票（realsocore）和存在時間（item-age）。

罰分的情況由一組if定義的各種case定義。如果一篇文章中沒有“內容（story）”或者“投票”,那麼罰分為0.8。如果URL為空，那麼引數為norl-factor*.如果內容被標記為“隱藏（bury）”，那麼引數為0.001同時文章被遺忘。最後，預設的情況考慮了爭議和遺傳演算法/輕便的因素。爭議因素contro-factor用來壓制可能引起網路論戰的文章，這一因素稍後會詳細說明。

如果文章被標記為惡作劇（joke）那麼引數值為0.1，同時一篇“輕量級”的文章會有0.17的引數值。實際應用的罰分系統比公開程式碼中還要複雜的多。

結論

Hacker News主頁上的文章位置並不是嚴格按照你的估計。經過對Hacker News網頁上的文章的仔細計算，我們可以對實際應用的算分公式有深入瞭解。雖然，贊成投票顯然是影響排名的因素，但是，同時還有一個複雜的“罰分”系統使得文章排名下降或是徹底消失。這不僅僅是為了阻止垃圾資訊，也會影響一些很流行的文章。如果一篇文章的評論數多餘贊成投票，不要評論那篇文章，否則你會讓它徹底消失！