1. 程式人生 > >告別AWS:Dropbox自建軟硬體系統,轉移500PB資料

告別AWS:Dropbox自建軟硬體系統,轉移500PB資料

圖片描述

Dropbox曾經是較早躋身獨角獸俱樂部的AWS明星使用者,而現在他們卻跳下大船,走上了自建資料中心的道路。原因主要還是成本。Dropbox的工程副總裁Aditya Agarwal表示,雲端計算公司也是要賺錢的,規模大了以後自建還是可以節省大量資金。也難怪,Dropbox本身主營業務就是S3之上比較薄的一層,如果不自己搞,面對平臺的競爭(Amazon、微軟和Google都有類似的雲盤服務),毫無優勢啊。

據Wired網站的報道,Dropbox的整個遷移過程長達數年(文章裡說的是2年半,但從Magic Pocket從2013年就開始開發,以及Hacker News評論裡前員工指出的,肯定不止),已經在近期完成。其中主要工作包括:

  • 自行開發類似AWS S3的檔案儲存系統Magic Pocket,由James Cowling團隊負責。原來的版本是2013年開始,用Go針對普通硬體編寫的。然後在自己的資料中心進行測試,看是否能可靠支撐AWS中20%的資料180天,一旦發現bug,就重新計時。後來為了適應自建硬體,而且原系統記憶體佔用較大,Jamie Turner又改用Rust重寫了其中的兩個大元件(OSD - Object Storage Device和volume manager)。這裡更詳細地討論了改用Rust的原因:堆的尺寸,節省CPU時間等等,當然也有問題,Dropbox整體基礎設施團隊都在用Go,所以很多庫都要再寫,而Rust的許多特性還不足,編譯時間也太慢。
  • 自行設計了名為Diskotech的機器,每臺可以儲存1PB資料,由曾在Twitter和Dell工作的Rami Aljamal團隊負責。Diskotech每個機器18”×6”×42”(英寸),放在深度1.5倍的標準4U機櫃裡,硬碟是10T和14T的host-managed SMR。(參考HN上的討論。)
  • 機房施工和安裝,1天40~50個機架,每機架8臺機器。
  • 資料遷移,每天4PB。峰值可以達到0.5TB/s。(參考這裡。)

其他技術細節還包括:
- 使用了Reed-Solomon編碼,但為降低重建成本而做了優化。類似於Local Reconstruction Codes。
- 網路IO方面,在mio之上自行開發了基於futures的框架(受Finagle啟發)。所有I/O是非同步的,但應用任務經常線上程池(儘可能控制得較小)裡完成。

James Cowling在HN討論裡說明了整個專案的成效:

效能提升3~5倍。成本節省巨大,但具體不能透露。穩定性方面,S3和Magic Pocket都表現不錯。總原始儲存量是EB級別的。

Dropbox的官方部落格說,“資料持續性達到99.9999999999%以上,可用性超過99.99%。”

Dropbox的5PB數量級很大了,但也只佔AWS的百分之幾;而且Dropbox很小心地一再強調,仍然與Amazon在合作,尤其是歐洲,因為使用者增長很快,還將繼續使用AWS。

這種告別雲會成為一種趨勢嗎?我的判斷是否定的,Dropbox的案例比較特殊(主要業務就是儲存,競爭激烈,利潤空間有限)。而且,能招到這一大規模專案所需的工程人員(很多來自Facebook、Google和Twitter等公司,已經有過大規模開發和運營的經驗),絕非易事。

何況,之前雖然有Facebook和Twitter這樣的成功案例,但也有前車之鑑:Zynga在轟轟烈烈自建雲之後不久,公司業務萎縮,大量硬體成了負擔……

相關推薦

告別AWSDropbox軟硬體系統轉移500PB資料

Dropbox曾經是較早躋身獨角獸俱樂部的AWS明星使用者,而現在他們卻跳下大船,走上了自建資料中心的道路。原因主要還是成本。Dropbox的工程副總裁Aditya Agarwal表示,雲端計算公司也是要賺錢的,規模大了以後自建還是可以節省大量資金。也難怪,Dr

兌吧HBase遷移到阿裏雲HBase實戰經驗

2.0 系統故障 環境 hbase配置 一個 拆分 愛好 作用 專業 摘要: 業務介紹 兌吧集團包含兌吧網絡和推啊網絡,兌吧網絡是一家致力於幫助互聯網企業提升運營效率的用戶運營服務平臺,提供積分商城和媒體運營服務。推啊網絡是一家互動式廣告平臺,經過多年的探索與實踐,首創了全

論文閱讀9適應輔導系統中保持和測量ZPD

參考論文:Toward Measuring and Maintaining the Zone of Proximal Development in Adaptive Instructional Systems 圖片出不來,請參見我的知乎連線:https://zhuanlan.zhihu.com/

轉載雲HBase小組成功搶救某公司HBase叢集挽救30+T資料

概述         使用過開源HBase的人都知道,運維HBase是多麼複雜的事情,叢集大的

學習APP應用so easy!

項目管理 整體 想要 follow 轉化 發的 每一個 想象 體驗 在互聯網+的大數據時代,行業的深入發展永遠是和信息技術的發展緊密結合的,無論和聯網創業還是社群交流,自建APP也越來越成為比不可少的技能。如今,自建APP不再是我們想象的那樣神秘高深,選擇一個服務全面的技術

Problem B: 指標呼叫定義交換函式完成5個浮點數從小到大排列

#include<stdio.h> int swap(float *p1,float *p2) { float flag; if(*p1>*p2) { flag=*p1; *p1=*p2; *p2=flag;

css佈局—直接定義柵格系統自己新增小型bootstrap樣式

要點: 1.這個例項中的佈局,通過自定義的柵格系統,模仿bootstrap庫,從而做到自己能有自己的庫樣式思路。 2.像background這個屬性,有許多的子屬性,要是想要連寫的話,如背景圖片和平鋪,只需寫image即可,不需要也不能寫成background-image。 效果:

定義快取系統使用讀寫鎖

package cn.itcast.heima2; import java.util.HashMap; import java.util.Map; import java.util.concurrent.locks.ReadWriteLock; import java.util.concurre

無需FQ本地CDN秒上StackOverFlow!

      StackOverflow是一個面向程式設計師的技術問答平臺。可是在不FQ的情況下,瀏覽StackOverflow是一件讓人極不舒服的事情,常常需要等待數十秒頁面才慢慢顯示出來。本文我教大家一種能夠流暢地使用StackOverflow的小技巧。 頁面載入緩慢的原因   在不使用任何vpn的情況

webpack+vue專案後執行npm run dev瀏覽器啟動

背景:由於vue版本的更新,有兩個檔案被刪除【 /config/dev-server.js and /config/dev-client.js are gone /config/dev-server.js 和/config/dev-client.js】,原配置項被移植到了i

本地伺服器Web伺服器——保姆級教程!

# 搭建本地伺服器,Web伺服器——保姆級教程! **本文首發於[https://blog.chens.life/How-to-build-your-own-server.html](https://blog.chens.life/How-to-build-your-own-server.html)。**

未明學院量化金融訓練營開始報名成為兼具資料分析技能+專案實戰經驗的複合型人才!

想進金融行業卻不懂資料?你正在失去機會 吳軍在《矽谷之謎》一書中說,“大資料的本質,就是通過資訊消除不確定性”,而不確定性,在金融領域,就意味著收益和風險。 金融行業天然要跟資料打交道,幾乎不存在與資料完全無關的崗位。金融從業者需要利用計算機技術從龐大的資料中獲得別人看不見的資訊,以資料分析

探碼DYSON大資料系統助力企業資料資產化解析!

近日美國公佈了一份《2016-2045年新興科技趨勢報告》,該報告是在過去五年內由政府機構、諮詢機構、智囊團、科研機構等發表的32份科技趨勢相關研究調查報告的基礎上提煉形成的。詞報告是通過對近700項科技趨勢的綜合比對分析,最終明確了20項最值得關注的科技發展趨勢。 該報告

G盤無法訪問此卷不包含可識別的檔案系統裡面的資料如何恢復

    此卷不包含可識別的檔案系統說明這個盤的檔案系統結構損壞了。在平時如果資料不重要,那麼可以直接格式化就能用了。但是有的時候裡面的資料很重要,那麼就必須先恢復出資料再格式化。具體恢復方法可以看正文了解(不格式化的恢復方法)工具/軟體:AuroraDataRecovery步

SparkStreaming部分的學習(包括sparkStreaming與storm的區別 Sparkstreaming處理資料的過程等)【業務邏輯圖及文字說明】

sparkStreaming與storm的區別:  Sparkstreaming處理資料的過程: sparkstreaming:資料是一段時間處理的,是一個微批處理,這個時間是由自己人為設定的。sparkstreaming的吞吐量高。 Storm:是純實時處理資料的,

HBase可用於管理、分析、修復和除錯的帶工具hbckhfile和資料備份與恢復介紹

HBase自帶的很多工具可用於管理、分析、修復和除錯,這些工具一部分的入口是hbase shell 客戶端,另一部分是在hbase的Jar包中。 目錄: hbck hfile 資料備份與恢復 Snapshots Replication Export C

AWS DeepLens 擴充套件專案

AWS DeepLens 提供了極好的機會來學習新技術,例如深度學習和物聯網 (IoT),以及構建可以解決實際問題的創新系統。該裝置和服務附帶有一組預定義的專案,使得從頭開始執行非常簡單。它設計作為開放平臺,使得新手和有經驗的開發人員都能構建 (和分享) 新的激動人心的專案。

雲計算之路-阿裏雲上-容器難容容器服務故障以及 docker swarm 集群故障

故障 基本 pos 應用 雲上 灰色 很大的 lead leader 3月21日,由於使用阿裏雲服務器自建 docker swarm 集群的不穩定,我們將自建 docker swarm 集群上的所有應用切換阿裏雲容器服務 swarm 版(非swarm mode)。 3月2

微信支付手機系統帶的瀏覽器調用微信支付如何實現(非掃碼)

所有 價格 驗證 返回 調用 -i 是否為空 支付申請 data- Q:翻看了微信支付的api沒發現支持h5調支付接口的情況(微信js除外),然後卻發現美團的支付成功調用了,這是怎麽實現的? A: 使用微信H5支付即可。H5支付通過URL調起微信APP,

git服務器連接Pycharm系列二在centos7上搭建git服務器

搭建 str dsc 虛擬 conf char har pat 連接 在自己的Linux虛擬機上,搭建git服務器,用來保存代碼。 centos7本身自帶git,需要先卸載,安裝成較新的版本。 1、卸載系統自帶版本 系統已經自帶 [root@dscrapy01 ~