以資料事實來呈現-- 開源社
有用的原文連結請訪問文末的“原文連結”獲得可點選的文內連結、全尺寸原圖和相關文章。致謝轉載自　|　
http://www.kaiyuanshe.cn/file-download-941-left.html
　作者　|　開源社

第二篇 資料篇

2.1 指南針篇

指南針團隊使用網路爬蟲與 GitHub 資料 API 獲取開原始碼庫的資料如原始碼、專案資訊、專案的靜態資訊如專案名稱、起始日期等、與動態資訊如fork數、客戶給與的星數等眾多專案相關的資訊儲存在本地資料結構中。第一階段是處理原始資料與結構化的單元，生成如排序、標籤等總和資料，如此可以透過如排名、統計等資訊的提供。

使用機器學習、自然語言處理、資料分析等技術，綜合所有資料提供如分類、搜尋、推薦、評比等應用服務。

另外運用影象資料庫的關聯技術，對於高維度智慧的連線和查詢、以互動方式的視覺化的提供更復雜的關聯呈現。

開源@中國

如同世界各地的開發人員和各種企業，中國也經歷了對於開源的無感、抵制、懷疑、觀望、嘗試、接受、以至於認可到支援的過程。中國在開源社群的貢獻與影響力，無論在數量與品質、深度與廣度都逐年的擴大與攀升。

Google 以創新的形象深植在開發人員的心中，對開源的貢獻例如在大資料（Hadoop、HDFS 等）、深度學習（如 TensorFlow）都是有目共睹。Microsoft 作為開源的後起之秀，投入的資源和近期的聲勢都開始受到認可。在 2018 年收購 GitHub 也為其投入與支援開源的決心更為凸顯。RedHat 在開源社群的歷史悠久，貢獻和積累豐富，長期在排行榜中居重要地位。BAT 與華為無論在資源的投入比例和開源的推動力度在近年有明顯增加，所以在 GitHub 排名有上升的趨勢。

以 Python 的開發者數量為例，2017 年中國已位居第 3 名，已經微幅領先如英國、德國、法國等歐洲傳統 IT 強國。

以 repo 數量和開發者數量的總和評比，2018 年美國仍然繼續龐大的優勢領先群雄。德國英國佔據二三名。中國作為新起之秀成為亞洲第一，全球第四。

2017 回顧 Forbes: 7 Technology Trends to dominate 2017

1. IoT and Smart Home Tech2. AR and VR3. Machine Learning4. Automation5. Humanized Big Data6. Physical-Digital Integrations7. Everything On-Demand

這是 Forbes 雜誌在 2017 從比較商業的角度預測資訊科技的趨勢。說明了比較廣泛的趨勢，每個專案都是資訊科技非常巨大的課題，包含物聯網、AR、機器學習、從人的角度看到的大資料，雲端計算的擴充，實體和數字化的整合。

Gartner 對 2017 資訊科技的趨勢預判：

◈ Trend No. 1: AI & Advanced Machine Learning◈ Trend No. 2: Intelligent Apps◈ Trend No. 3: Intelligent Things◈ Trend No. 4: Virtual & Augmented Reality◈ Trend No. 5: Digital Twin◈ Trend No. 6: Blockchain◈ Trend No. 7: Conversational Systems

Gatner 對於資訊科技的預測比較深入，其中第一類是以智慧為主的方向，包含人工智慧特別在機器學習的範疇是值得關注。手機App和智慧的結合，具有智慧特性的物聯網，也是令人深省的方向。

和 Forbes 同樣預測 AR/VR 和實體和數字化的整合（Digital Twin）的趨勢。區塊鏈的議題開始被提出來成為關注的趨勢。智慧機器人（Bot）的應用以更加廣泛的方式進入資訊科技的領域。

2018 趨勢

Gartner 對 2018 資訊科技的趨勢預判：

◈ Trend No. 1: AI Foundation◈ Trend No. 2: Intelligent Apps and Analytics◈ Trend No. 3: Intelligent Things◈ Trend No. 4: Digital Twins◈ Trend No. 5: Cloud to the Edge◈ Trend No. 6: Conversational Platforms◈ Trend No. 7: Immersive Experience◈ Trend No. 8: Blockchain

Gartner 接續前一年的預測，把智慧的範疇地位到以 AI 為基礎的各種智慧，不僅僅是機器學習的方向。還是繼續關注手機 App 和智慧的結合還有具有智慧特性的物聯網。

受到歐盟對資料存放的限制和使用者對速度、費用的敏感以及物聯網對頻寬和計算的要求，雲端計算也演進到霧計算和邊緣計算。

由 VR/AR 到更近一步的沉浸式體驗。

區塊鏈從 2017 年關注的趨勢，到 2018 開始有比較深入的研究，並且投入實際的應用。

全球程式語言佔比趨勢排名

2017 年領先的語言基本的排名沒有大的改變，但是比例卻都縮小了，可能的原因是程式設計師在嘗試新的語言和新的方向。這個嘗試的結果在 2018 年反應出來的形式是由 2017 年排在第 4 位的 Python 升至第三呈現。其中的意義也反應出人工智慧在 2018 更加獲得程式設計師的認可與接受。傳統的程式語言 C/C++ 已經在這樣的趨勢下退居第四，也象徵傳統的技術領域面臨消退的現象。

GitHub 2017-2018：GitHub 2017-2018 statistics

GitHub 在 2008 正式運營到現今已經 10 年，大約在 2015 更加受到開發人員的青睞而快速的擴張。從 2017 到 2018 無論在人數和程式碼 repo 的數量，都有驚人的成長。因為這樣的量級具有代表性，使得 GitHub 的各類資料成為開源的指標和參考。

2017 GitHub Keywords

根據 GitHub 關鍵字的顯示，機器學習（Machine-learning）毫無懸念成為最大的關注熱門詞彙。遊戲（Game）成為另一個熱門詞彙。

GitHub topic 是依據每個 repo 自主選擇的標籤（tag）歸類在同一個主題下。這個排名方式是按照該主題所有 repo 的參與者授予的星數（star）總和以衡量受開發人員認可的程度。

◈ JavaScript 作為指令碼語言，經常和其他程式語言如 Java 和 Python 搭配，本身也可以在 web 開發裡面簡單功能實現有其貢獻，加上相對比較容易上手的優勢，獲得開發者的喜愛佔據第一。◈ React 與 Node.JS 作為 Web 開發框架排名二三。◈ Python 有語法簡潔高效的優勢，並且在資料分析的支援有豐富的積累，在人工智慧浪潮的推哄下，有排名上升的趨勢來到成為程式語言的第一來到總體排名第六。◈ 機器學習與深度學習作為熱門的主題，經過不到 2 年的積累排名 12、13，而且沒有消退的跡象，以後上升的機會非常大。◈ Java 在後臺數據處理、複雜功能實現，各種支援框架的品質和選擇上有一定的積累和優勢，仍然是受到開發者的歡迎，但是也處於持平穩定的狀態。

許多人應該對 freeCodeCamp 這個排名第一的 repo 和其他如 awesome、Your-Don’t-Know-JS 等排在前面的 repo 感到陌生和不解。這些是以推廣和服務某一理念的 repo，可能因為鼓勵其使用者點贊加星數，所以擁有總多的星數而排在高位。

雖然和一般開發者的對星數的給與的採取謹慎的方式不同，但是 GitHub 也提出 GitHub 不僅是程式碼庫，也是一個意見交換的平臺（Hub）的論點。也許這樣的機制也是提倡開源、自由、創新的一種認可吧。

有趣的是，bootstrap 作為 topic 並沒有排在前面，但是單就 repo 的角度，卻有比其他 repo 高的星數而成為第二。Google 的 Tensorflow 作為深度學習的框架，以 repo 受喜愛的程度高居第五，在上升的速度和喜愛的程度實在令人驚訝。

排名第九的 JavaScript 實際是 javascrip style guide 的一個以 javascript 為開發主題的文件整合。不是 javascript 本身的開源專案。

所以從這個實際的排名為例，也顯現出 GitHub 用星數為排名依據的方式，有其不符合開發人員認知的地方。

開源的現況

由以上 GitHub 的排名或是分類的結果，可以看出由使用者自己給星數或是選擇自訂 tag 來進行分類的方式，雖然讓使用者有比較高的自由選擇和評判方式，但是可能會有失公平的地方。

我們來看一下開源專案的理想的情況：

對於規範的開發專案，專案說明、文件、架構、程式碼都是非常清楚和有條理，所以使用者也會有多的 star 和 fork 數。使用者可以根據這些說明文件等文字，綜合 star/fork 數判斷是不是這個是要找的專案/程式碼。

使用者可以參考專案中提供的範例甚至是最佳實踐方式，使用這個開源專案的內容。

甚至使用者還可以對這個開源專案作出貢獻，增加修改開原始碼。 使用這樣的開源，省時又省心！

但是真實的情形，不一定是如想象的樂觀：

◈ 但是開源裡有更多的實驗性質或是不完善的專案，因為沒有受到關注，所以沒有星數可以參考，使用者應該嘗試使用還是選擇其他星數高但是不一定符合自己需求的專案？◈ 具有同類 tag 的專案可能多達數百個，使用者應該如何選擇？◈ 許多的專案文件說明可能也不是非常齊全，使用者如何選擇?◈ 開源專案可能對其他框架有依存的關係，如何知道去評量是否符合已有的框架或是依賴庫，而不用加入更多依存的框架和依賴庫而增加自己專案的複雜度和維護的風險？◈ 專案是否有可能太常更新或是沒有更新？

這些都是讓評估使用開源專案會遇到的問題…

小結

資訊科技在 2017 年有人工智慧的議題開始發酵，許多的嘗試、學習、研究造成新的關注和投入，由許多跡象顯示 2017 年是一個變動（dynamic）時期。進入 2018，人工智慧累積研究人員、開發人員、民間企業以至於國家級別的關注，在全球掀起人力與資源投入的風潮。這個現象可以從程式語言的排名在 2018 年 Python 升至第三、還有在 GitHub 包括 Tensorflow 等屬於機器學習 / 深度學習的類別排名快速爬升的現象得到驗證。

以 JavaScript/Node.js 等框架為代表的手機應用和網際網路相關的開源，仍然是最大宗和熱門的專案，基本上是以持平的狀態維持在原有軌跡繼續運作。不管從活躍度、貢獻度、參與度和涵蓋度都是領先的情形。由 Java 代表的傳統開源專案有一定的積累，在以應用和基礎框架專案的廣度深度仍舊相當厚實，雖然成專案和貢獻者長已經有飽和的現象。

先前新興的熱門技術如物聯網、容器技術和區塊連結續前面的動能仍然有創新的議題和專案出現，討論和參與的熱度還是比較高。相較於以往的熱門議題如雲計算和大資料有了相對成長緩慢的趨勢，但是在於貢獻者的參與比較穩定。

2.2 Grank 篇

本篇以 GitHub 資料為基礎，按照設定方法進行採集、聚類和分析開源生態的狀態。本篇作為《中國開源調查報告》的一部分，提供了另外一種從資料的視角來觀察中國開源專案發展的方法。

Grank 是本報告制定的一個指數，用於綜合評估一個開源專案、開源組織的健康程度。

Grank 模型介紹

我們認為，一個健康的開源專案應該體現為以下兩個方面：

◈ 專案的活躍度趨勢◈ 專案的社群化（去中心化）程度

而這兩個方面分別有多個因素組成：

活躍度和活躍度趨勢

專案的活躍度，我們定義為專案的提交數、 拉取請求數和貢獻者數（其它資料，如程式碼行數、檔案數、issue 數、 fork 數、star 數，要麼是權重相對低得多，要麼是代表意義不夠確定，此處忽略不計入模型）。

但是，對於不同的專案，其橫向比較其活躍度，或有不同的活躍度形態，或不具備可比性。很難說一個專案比另外一個專案的提交數高，而拉取請求（PR）數低代表的確切含義。因此我們不認為對不同專案的這些資料進行絕對值的比較有太多的科學意義。

所以，我們認為一個專案本身的活躍度變化的趨勢和幅度，會更有專案間比較的意義。

如果以三維空間來描述一個專案的活躍度，以提交數、拉取請求數、貢獻者數為三維，可以確定在某個時間點某個專案的座標，那麼計算一段時間內，該座標點的移動軌跡和速率，可以真實的反映該專案的活躍度趨勢。

考慮到按周工作的作息時間的普遍影響，我們以一個工作周作為一個時間取樣點，然後計算連續的幾周內該座標的移動速率。這反映了該專案的發展速度。

社群化程度

開源誕生於社群，繁榮於社群，根植於社群，雖然現在大型組織、商業公司也紛紛投身於開源生態，但是我們認為，開源專案的生命力仍然在於社群。我們並不否認機構、商業公司對開源的巨大貢獻和影響力，但是如果一個開源專案變成了一家或幾家大企業的私人遊戲，其必然失去開源專案的生命力，它或許會在商業上取得成功，但是那個成功不是開源專案的成功模式。

因此，我們認為需要有一個評估開源專案的社群化（去中心化）程度的指標。專案（尤其是軟體專案）的一個重要屬性是開發人員的社群化身份，因此，我們以實際向專案貢獻了程式碼的人員的社群化離散程度來評估專案的社群化程度。

每個參與專案開發的人員均有其身份屬性，這個身份可能是企業僱傭身份，也可能是社群志願者身份。我們通過對專案的提交中的提交者資料進行收集，然後根據開發人員的身份資訊、郵件字尾等依優先順序來判斷其所屬身份。然後對這些資訊進行聚類，以一個離散評估模型來評估該資料集的離散程度。

雖然專案越中心化，其發展風險越高，但是，並不是社群化程度越高的專案就越健康，過於離散的專案也容易出現專案分裂、迭代緩慢等問題。這顯然是存在一個適當的區域。

通過上述兩個指數，我們可以對專案進行象限劃分，以“專案活躍度”和“社群化程度”為兩個象限軸。

Grank 專案

根據如上的方法論，我們（Linux 中國）發起了一個開源專案，用於提供分析工具，該工具由 Linux 中國核心成員 Bestony 建立，並貢獻給社群，以期進一步完善。

專案地址： https://github.com/LCTT/Grank

資料採集方法

我們採用 GitHub 提供的 API 進行資料採集，資料採集範圍為國內主要網際網路公司在 GitHub 上的重要（活躍）專案（以下列表排名不分先後）：

◈ 阿里巴巴（Ant Design、螞蟻金服、Angular Developers、淘寶、天貓前端、eggjs）◈ 華為（華為 Hadoop）◈ 騰訊（AlloyTeam、tarscloud）◈ 百度（FEX、EFE、前端）◈ 餓了麼（前端）◈ 網易◈ 搜狐◈ 奇虎 360（360 企業安全）◈ 唯品會◈ 豆瓣◈ 大眾點評◈ 小米◈ 美團（美團點評）◈ 美麗◈ 豌豆莢◈ 噹噹◈ 有贊◈ 深度◈ DNSPod◈ 新浪微博◈ 今日頭條◈ 滴滴出行◈ eBay

以及各個公司捐獻給 Apache 基金會的專案：

◈ Apache carbondata（華為）◈ Apache eagle（eBay）◈ Apache kylin（eBay）◈ Apache hawq（Pivotal）◈ Apache rocketmq（阿里巴巴）◈ incubator-dubbo（阿里巴巴）◈ incubator-weex（阿里巴巴）◈ incubator-doris（百度）◈ incubator-echarts（百度）◈ incubator-griffin（eBay）◈ incubator-skywalking（個人）

根據對上述組織的近 500 個專案的資料採集和分析，我們得出瞭如下結果。

資料結果點評

通過對上述專案從 2017/10/1 至 2018/9/30 止的資料進行分析，其活躍度指標資料如下：

其中前五名的活躍度變化趨勢為：

其中我們可以看到，阿里系專案獨佔鰲頭，而這五個專案中有三個是前端專案。

這五個最活躍專案的社群化趨勢為：

可以說，除了阿里巴巴的飛冰（ice）專案外，其它專案的社群參與程度都很高。

其中前五名的專案的各自情況如下：

1. 螞蟻金服的 ant-design 前端專案

專案地址： https://github.com/ant-design/ant-design

這是一個“服務於企業級產品的設計體系”，是由螞蟻金服體驗技術部採用 React 封裝的一套元件庫。

從其最近一年的活躍度資料（紅）來看，其一年之內就有 2298 個提交，最多的一週有 122 個提交；而在這一年內，新增了 350 位貢獻者和 1057 個 PR。可以說是一個活躍度非常高的前端專案了，而且從趨勢上，其近期的活躍度趨勢還在增加。

不過，從其社群化指數（藍）上看，其社群參與比例在近期略有下降，但是整體來說，依舊維持較高水平（95% 以上）。

2. 阿里巴巴的 pouch 容器引擎

專案地址：https://github.com/alibaba/pouch

這是阿里巴巴在雲端計算方面的一個重大專案，其對於阿里巴巴集團內部的容器化程序起到了極大的推動。

這個專案迄今也只有一年的發展歷程，但是其活躍度從一開始就高居不下，甚至在 2018 年 8 月有個顯著的活躍高峰。雖然其一年來只有幾十位做出提交的貢獻者，但是每週的提交數量、PR 數量都很穩定，說明專案的發展很健康。

比較有意思的是，這個專案的社群化程度比較高，也比較穩定，從其官網和 GitHub 主頁上的文件和說明全是英文來看，其國際化推廣的程度比較高。

3. 華為捐獻給 Apache 基金會的 CarbonData 專案

專案地址：https://github.com/apache/CarbonData

Apache CarbonData 專案是一個索引列資料儲存方案，可用於大資料平臺（如 Apache Hadoop、 Apache Spark）的快速分析。

其專案的活躍度相當可觀，社群化程度也能穩定在很高的程度上。這個專案是唯一進入前五的 Apache 基金會管理專案，也是華為所有專案中活躍度最高的專案。

4. 阿里巴巴的飛冰前端專案

專案地址： https://github.com/alibaba/ice

這又是阿里巴巴的一個專案，同樣是前端專案，其“海量可複用物料，配套桌面工具極速構建前端應用”。

這個專案的出現也不久，還不到一年，其活躍度也相當可觀，但是同樣，隨著專案的成熟，其社群參與度也一路走低極低水平。

5. 餓了麼的前端專案 element

專案地址：https://github.com/elemefe/element

這個專案是餓了麼前端部門“為開發者、設計師和產品經理準備的基於 Vue 2.0 的桌面端元件庫”。

從該專案的活躍度來看，波動比較大，且近期有活躍度減低的趨勢。而社群化程度則保持較高的程度。

在前五之外，我們要額外對第 6 名 Apache 孵化專案 skywalking 做一個說明：

6. 個人主導的 Apache 孵化專案 skywalking

專案地址：

https://github.com/apache/incubator-skywalking

這是國內唯一進入 Apache 基金會的由個人主導的開源專案。它是一個分散式跟蹤系統和應用監測系統，主要用於微服務、容器環境的監測。

作為一個由個人主導的開源專案，而且是活躍於雲原生領域的，能取得這樣高的專案活躍度十分不易。

小結

從上述表格資料可以看到，阿里巴巴/螞蟻金服在開源方面活躍度很高（前 50 名中，超過了一半）。從下圖可以看出來，其整體的活躍度和社群化程度都不錯。

另外，除了阿里巴巴、騰訊、百度、華為之外，有贊、餓了麼、唯品會也有幾個專案的活躍度很高，可見現在注重開源的網際網路企業越來越多了。

而在上榜的專案當中，前端專案佔據比較多，這可能與這種專案的迭代速度較快有關。