奇虎360




開源github地址：https://github.com/Qihoo360


1.MySQL中間層 Atlas

Atlas是由 Qihoo 360, Web平臺部基礎架構團隊開發維護的一個基於MySQL協議的資料中間層專案。它在MySQL官方推出的MySQL-Proxy 0.8.2版本的基礎上，修改了大量bug，添加了很多功能特性。目前該專案在360公司內部得到了廣泛應用，很多MySQL業務已經接入了Atlas平臺，每天承載的讀寫請求數達幾十億條。

主要功能：
* 讀寫分離
* 從庫負載均衡
* IP過濾
* SQL語句黑白名單
* 自動分表

更多內容：https://github.com/Qihoo360/Atlas

2.360黑科技=》DroidPlugin

DroidPlugin 是360手機助手在 Android 系統上實現了一種新的外掛機制：它可以在無需安裝、修改的情況下執行APK檔案,此機制對改進大型APP的架構，實現多團隊協作開發具有一定的好處。

特點：

支援Androd 2.3以上系統

外掛APK完全不需做任何修改，可以獨立安裝執行、也可以做外掛執行。要以外掛模式執行某個APK，你無需重新編譯、無需知道其原始碼。

外掛的四大元件完全不需要在Host程式中註冊，支援Service、Activity、BroadcastReceiver、ContentProvider四大元件

外掛之間、Host程式與外掛之間會互相認為對方已經”安裝”在系統上了。

API低侵入性：極少的API。HOST程式只是需要一行程式碼即可整合Droid Plugin
超強隔離：外掛之間、外掛與Host之間完全的程式碼級別的隔離：不能互相呼叫對方的程式碼。通訊只能使用Android系統級別的通訊方法。

支援所有系統API

資源完全隔離：外掛之間、與Host之間實現了資源完全隔離，不會出現資源竄用的情況。

實現了程序管理，外掛的空程序會被及時回收，佔用記憶體低。

外掛的靜態廣播會被當作動態處理，如果外掛沒有執行（即沒有外掛程序執行），其靜態廣播也永遠不回被觸發。

更多檢視：https://github.com/Qihoo360/DroidPlugin/

3.高效能分散式儲存服務 HustStore

huststore 是一個高效能的分散式儲存服務，不但提供了 10w QPS 級別的 kv 儲存的功能，還提供了 hash、set 等一系列資料結構的支援，並且支援 二進位制 的 kv 儲存，可以完全取代 Redis 的功能。此外，huststore 還結合特有的 HA 模組實現了分散式訊息佇列的功能，包括訊息的流式推送，以及訊息的 釋出-訂閱 等功能，可以完全取代 RabbitMQ 的功能。

特性

huststore 分為 hustdb 以及 HA 模組兩大部分。hustdb （儲存引擎）的底層設計採用了自主開發的 fastdb，通過一套獨特的 md5 db 將QPS 提升至 10w 級別的水準（含網路層的開銷）。HA 以 nginx 模組的方式開發。nginx 是工業級的 http server 標準，得益於此，huststore 具備以下特性：

高吞吐量

hustdb 的網路層採用了開源的 libevhtp 來實現，結合自主研發的高效能 fastdb 儲存引擎，效能測試 QPS 在 10w 以上。

高併發

參考 nginx 的併發能力。

高可用性

huststore 整體架構支援 Replication (master-master)，支援 load balance 。

HA 的可用性由nginx 的 master-worker 架構所保證。當某一個 worker 意外掛掉時， master 會自動再啟動一個 worker 程序，而且多個 worker 之間是相互獨立的，從而保證了 HA 的高可用性。

huststore 的高可用性由其整體架構特點保證。由於 hustdb 的儲存節點採用了 master-master 的結構，當某一個儲存節點掛掉時，HA 會自動將請求打到另外一臺 master，同時 HA 會按照自動進行負載均衡，將資料分佈儲存在多個 hustdb節點上，因此儲存引擎不存在單點限制。

同時 HA 叢集本身也是分散式的設計，而且每個 HA 節點都是獨立的，當某一臺 HA 掛掉時， LVS 會自動將請求打到其他可用的 HA 節點，從而解決了 HA 得單點限制。

通用性的介面

huststore 使用 http 作為通用協議，因此客戶端的實現不限制於語言。

支援二進位制的 key-value

更多檢視：https://github.com/Qihoo360/huststore

4.分散式配置管理工具 QConf

QConf 是奇虎 360 內部分散式配置管理工具。用來替代傳統的配置檔案，使得配置資訊和程式程式碼分離，同時配置變化能夠實時同步到客戶端，而且保證使用者高效讀取配置，這使的工程師從瑣碎的配置修改、程式碼提交、配置上線流程中解放出來，極大地簡化了配置管理工作。

特點

一處修改，所有機器實時同步更新

高效讀取配置

安裝部署方便，使用簡單

伺服器宕機、網路中斷、叢集遷移等異常情況對使用者透明

支援c/c++、shell、php、python、lua 等語言

更多檢視：https://github.com/Qihoo360/QConf

5.開源類Redis儲存系統 Pika

Pika 是 360 DBA 和基礎架構組聯合開發的類 Redis 儲存系統，完全支援 Redis 協議，使用者不需要修改任何程式碼，就可以將服務遷移至 Pika。有維護 Redis 經驗的 DBA 維護 Pika 不需要學習成本。

Pika 主要解決的是使用者使用 Redis 的記憶體大小超過 50G、80G 等等這樣的情況，會遇到啟動恢復時間長，一主多從代價大，硬體成本貴，緩衝區容易寫滿等問題。Pika 就是針對這些場景的一個解決方案。

特點

容量大，支援百G資料量的儲存

相容redis，不用修改程式碼即可平滑從redis遷移到pika

支援主從(slaveof)

完善的運維命令

更多內容：https://github.com/Qihoo360/pika

6.物件快取伺服器 kmemcache

分散式linux核心記憶體物件快取伺服器，實現基於memcached v1.4.15，基本相容memcached的所有操作。經初步測試，記憶體資料操作比memcached快1倍，網路併發量比memcached的也大許多，目前處於alpha版本。

優點：由於在核心的socket層實現，所有處理網路事件效能比epoll機制快，另外無需記憶體由使用者空間到核心空間的拷貝。

缺點：不建議在32bits下使用。

更多內容： https://github.com/Qihoo360/kmemcache

7.ngx_http_subrange_module

當Nginx作為檔案下載服務的反向代理,使用者請求一個非常大的檔案的時候,它會一直佔滿反向代理伺服器與後端主機之間的頻寬。因為nginx一次獲取整個檔案,緩衝獲取到的檔案,導致客戶端不能馬上讀取到。頻寬使用和iowait會很高。

ngx_http_subrange_module就是為了解決這個問題，它能分割HTTP requests。將大資料量的HTTP請求切分為多個子請求，當下載一個1 G的檔案,subrange將從後端主機中下載檔案塊，比如先獲取5 M，然後再獲取5 M,直到客戶端下載完整個檔案。

更多檢視：https://github.com/Qihoo360/ngx_http_subrange_module

8.同步到非同步的類庫 Mario

Mario是一個讓編寫從同步到非同步的類庫，它的執行緒安全較大，易於使用。Mario 的最基本的想法就是為了減少人員的安排，降低成本和時間投入。但是有了這個類庫，操作人員就可以抽出精力做別的事情了。所以 Mario 類庫能夠很輕易的解決你的問題，你只需要你自己的訊息功能。

引擎型別：

memory，這種型別就是將資料緩衝儲存器留在記憶體裡。

file，這種型別就是能夠在本地日誌路徑裡建立做出一個 write2file。

更多檢視：https://github.com/Qihoo360/Mario

其他系列請去360github庫觀看
———————————————————
百度 Baidu https://github.com/fex-team/

https://github.com/ecomfe

1.UEditor 編輯器

UEditor是由百度web前端研發部開發所見即所得富文字web編輯器，具有輕量，可定製，注重使用者體驗等特點。

主要特點：
輕量級：程式碼精簡，載入迅速。
定製化：
全新的分層理念，滿足多元化的需求。
採用三層架構：
1. 核心層： 為命令層提供底層API，如range/selection/domUtils類。
2. 命令外掛層： 基於核心層開發command命令，命令之間相互獨立。
3. 介面層： 為命令層提供使用者使用介面。

滿足不同層次使用者的需求。

https://github.com/fex-team/ueditor
https://github.com/fex-team/umeditor

2.ECharts 圖表庫

ECharts開源來自百度商業前端資料視覺化團隊，基於html5 Canvas，是一個純Javascript圖表庫，提供直觀，生動，可互動，可個性化定製的資料視覺化圖表。創新的拖拽重計算、資料檢視、值域漫遊等特性大大增強了使用者體驗，賦予了使用者對資料進行挖掘、整合的能力。提供商業產品常用圖表，底層基於ZRender（一個全新的輕量級canvas類庫），建立了座標系，圖例，提示，工具箱等基礎元件，並在此上構建出折線圖（區域圖）、柱狀圖（條狀圖）、散點圖（氣泡圖）、餅圖（環形圖）、K線圖、地圖、力導向佈局圖以及和絃圖，同時支援任意維度的堆積和多圖表混合展現。

更多：https://github.com/ecomfe/echarts

ECharts-X是 ECharts 團隊推出的全新 3D 視覺化庫，它是基於 ECharts 的擴充套件，底層深度整合了 WebGL 庫QTEK和 Canvas2D 庫ZRender。

擴充套件：https://github.com/ecomfe/echarts-x

3.WebUploader 上傳控制元件

WebUploader 是由Baidu WebFE(FEX)團隊開發的一個簡單的以HTML5為主，FLASH為輔的現代檔案上傳元件。在現代的瀏覽器裡面能充分發揮HTML5的優勢，同時又不摒棄主流IE瀏覽器，延用原來的FLASH執行時，相容IE6+，Andorid 4+，IOS 6+。兩套執行時，同樣的呼叫方式，可供使用者任意選用。採用大檔案分片併發上傳，極大的提高了檔案上傳效率。

https://github.com/fex-team/webuploader

4.百度腦圖 KityMinder

KityMinder 是百度FEX團隊的f-cube小組（原UEditor小組）的又一力作。作為一款線上的腦圖編輯工具，它有著很多Native編輯工具的互動體驗。KM與UE有著一樣的宗旨，就是注重終端使用者的使用體驗。同時，它充分發揮了Web雲端儲存的優勢，可以直接將編輯中的腦圖同步到雲端。此外，藉由獨創的 “雲盤分享”功能，使用者可以一鍵將當前編輯的腦圖直接生成線上連結共享給其他使用者，實現無縫溝通。

KM是基於SVG技術實現，使用JavaScript+html實現。支援絕大多數的主流瀏覽器。

支援列表如下
1. chrome
2. firefox
3. safari
4. ie9-11
https://github.com/fex-team/kityminder

5.人工智慧系統 WARP-CTC

WARP-CTC 基於 CTC 方法，當前可用的一些 CTC 實現通常要求大量的記憶體或者是慢十到幾百倍。

百度研究所首席科學家 Andrew Ng 稱他的研究主要是人工神經網路如何在圖形處理單元 (GPUs) 上執行，讓 WARP-CTC 實現對 GPUs 和 x86 CPUs 的支援。

connectionist temporal classification (CTC) 方法可以追溯到 2006 年，在 Swiss AI 研究所 IDSIA 論文上有記錄。 百度研究所開發的 WARP-CTC 就基於 CTC 方案，但是改進了其自身的語音識別功能

https://github.com/baidu-research/warp-ctc

其他系列請去baidu github庫觀看

————————————————————
騰訊 QQ

http://alloyteam.github.io/

相關推薦