1. 程式人生 > >這個技術的出現,可能會顛覆阿里雲、AWS!

這個技術的出現,可能會顛覆阿里雲、AWS!

在大資料和人工智慧的帶動下,越來越多的大型公司開始爭奪雲服務市場這塊香餑餑。

AWS、阿里雲、Azure,這些耳熟能詳的雲服務商依然牢牢佔據著全球70%以上的市場,但是隨著去年“區塊鏈”這個領域的興起,未來雲服務市場可能發生改變。

目前我們所知道的雲服務商、雲端儲存機構都屬於中心化儲存,而去中心化儲存反而擁有更高速,更廉價,更隱私的特點。此前去中心化儲存一直無法解決檔案上傳、下載的信任問題,而“區塊鏈”的出現,正好彌補了去中心化儲存的信任問題。

今天,就從傳輸速度方面來講講,去中心化儲存,為何能顛覆阿里雲、AWS。

去中心化儲存擁有比傳統雲端儲存資料傳輸更快的速度,原因是:
首先, 我要講解的是網際網路底層架構。

影響網路傳輸速度的因素:

1、中間經過的路由的數量,一般來說中間經過的路由數量越多,傳輸速度越慢。
2、兩端的頻寬大小,以及剩餘情況,特別是伺服器端,如果伺服器端頻寬爆滿了,速度肯定會變慢。
3、兩端中間路由的頻寬大小,瓶頸往往是中間最慢的路由,特別是在跨越運營商的時候,或者跨越國界的時候,非常容易遇到瓶頸。
4、區域性的熱點事件,也很容易引起網路的擁塞,因為頻寬總量不變,當別人用多了,你自然就用少了。

網際網路在實際執行的過程中,就像一個城市的交通,其實非常複雜,存在著巨大的不確定性,很難預測。所以不能簡單理解為地址位置距離越近,網速越快;但是有一點可以肯定,如果地理位置距離遠的,網速一定不會快。下面這個圖就是美國的網路執行示意圖。
在這裡插入圖片描述


下面在看一組關於東南亞國家網路調查資料,資料來源於https://www.terabitconsulting.com/mt-content/uploads/2018/01/20150602-broadband-infrastructrure-in-the-asean-region.pdf

這是東南亞各國的頻寬總覽,可以看出不少國家的總接入頻寬是很少的。
在這裡插入圖片描述
另外,國際流量的調查表格如下:
在這裡插入圖片描述
從表中可以看出,東南亞各國平均到每個人頭的跨國頻寬是非常低的,另外不少國家的跨國網路也是非常弱的。在此,我丟擲一個問題,像Amazon這樣的全球頂級雲服務提供商, 能夠保證每個地方都高速訪問嗎?
下面來解釋這個問題。我們先看一張圖,這是Amazon的雲服務的全球機房部署圖
在這裡插入圖片描述


可以看出,亞馬遜雲服務在東南亞地區只在新加坡重點部署了兩個節點。 我猜測這樣做的原因可能是:新加坡國內環境安全且經濟實力較為強大,在這裡佈置節點,使得管理成本最低。

但是,從前面的報告來看,東南亞不少國家的國際網際網路連線是很弱的。想象一下,一個泰國的使用者,如果把檔案存放在新加坡的亞馬遜伺服器節點上,他必須通過跨國連線才能訪問,而柬埔寨整個國家的跨國網際網路非常弱,可以推斷,他的傳輸速度一定是很低的。

那麼我設計的PPIO去中心化儲存為什麼能解決這個問題?

因為一旦PPIO專案主網啟動,很快,我們的服務方將會遍佈全球各地。為什麼我們的服務方會遍佈全球各地?大家都會有閒置的硬碟空間或者頻寬,如果這些閒置空間可以出租賺錢,相信沒有人會拒絕。PPIO就是將使用者閒置的硬碟空間和頻寬進行出租,再通過區塊鏈技術,保證激勵是公開透明的,只要使用者把儲存和頻寬接入PPIO提供服務,就能獲得激勵。
當世界各地都有服務方接入PPIO之後,就相當於在世界各地部署了機房來提供儲存服務,用最近的距離服務最近的人,傳輸速度自然就得到提高。想象一下,上網人數多的地方,同樣提供服務的人也會更多,這樣,人越多上網速度反而越快。
在這裡插入圖片描述
這是將來世界各地的PPIO服務方地圖
我在設計PPIO的時候,引入了P2P的經典重疊網路。所謂重疊網路,簡單地說就是在基本物理網際網路之上,再做一層基於節點與節點之間的平等邏輯網際網路。
在這裡插入圖片描述
PPIO重疊網路就是採用自組織非結構網路的方式,這個方式鼓勵就近連線(網路距離)。保持就近連線,儲存時會將資料優先儲存在就近的租戶上,分發時也會優先從距離使用者近的節點傳輸資料,這樣能充分利用本地頻寬,極大提高傳輸速度。

當更多的節點加入PPIO網路,每個節點就更容易找到更近更快的臨近節點,用於儲存或者釋出下載。伺服器頻寬不再是瓶頸,使用者增長帶來的是更快的傳輸速度和更好的使用者體驗。

P2P自組織網路的建立過程

PPIO網路中每個節點會隨時維持自己的長連線節點。這些節點我們稱為鄰居。每個節點維持連線的鄰居,會自動進行淘汰,從而使每個節點在長期的線上過程中,適中動態保持連線自己的相對快的鄰居,就形成了自組織的P2P重疊網路:

為實現以上操作,每個節點要維持兩個實時的庫,一個是鄰居庫,一個是有效候選節點庫,這兩個庫對於重疊網路選擇節點至關重要。另外每個節點還要維護歷史鄰居庫,該庫記錄了歷史上成為過鄰居的節點和其相關資訊。

優先就近儲存原則

有鄰居節點後,當每個使用者上傳資料時,PPIO會把大部分資源副本優先放置在鄰居服務方或者足夠快的鄰居服務方上,這樣使用者再獲取資源的時候,就能獲得就近傳輸了,獲得非常快的傳輸體驗。當租戶節點非常多遍及全球各地的時候,每個地方的儲存傳輸速度都能足夠快。
普通的使用者一般是很少變更區域的,但是也有特殊情況。我在設計PPIO的時候適應了兩種特殊的情況。

1、關於跨越地域的使用者

可能存在以下的情況,有使用者長期來回在兩個地方,這樣兩個地方的傳輸速度都需要比較快。PPIO對於這種情況要做專門的優化,由於使用者在一個地方A,其鄰居也是A地方的鄰居,當用戶去另外一個地方B的時候,其鄰居換成地方B的節點。而再使用者的歷史鄰居節點庫裡面,有兩個地方的節點。

每在一個地方的時候,該地方鄰居節點的歷史權重就會被提高,另外一個地方的鄰居節點的權重就會下降。如果使用者長期來回於兩地,這種情況會交替出現,導致其歷史鄰居節點權重差不多。這樣使用者在上傳資源的時候,檢索排程節點在選擇副本儲存租戶節點的時候,兩個地方的節點都會有。這樣該使用者不論在哪個地方都能獲得較好的使用者體驗。

2、如果使用者永久變更地域

另外,使用者可能出現長期或永久變更地點的情況,PPIO給使用者設計了一個重新排程操作,只要啟動這個操作,就會根據最新的歷史鄰居節點庫的權重重新排程。

不論之前副本書儲存在什麼租戶節點上,都會重新選擇租戶節點儲存新的副本,而新的副本里面,大部分會才採用優先就近儲存原則儲存資料。這樣使用者之前儲存的資料可以和新儲存的資料一樣可以享受到高速傳輸的使用者體驗。

經過這些努力,我們能做到比中心化儲存方案更快地傳輸速度。

一個問題:

下圖是使用者儲存資料位置圖,左邊是AWS的S3中心化儲存服務,右邊是PPIO的去中化化儲存網路,你認為哪種方案傳輸速度會更快?
在這裡插入圖片描述

文章作者:Wayne Wong
轉載請註明出處
如果有關於區塊鏈學習的交流,可以通過下面的方式聯絡我:
加我微信,注意備註: 區塊鏈學習
wechat:omnigeeker
github: omnigeeker (Wayne Wong)
telegram: @omnigeeker
twitter: @omnigeeker
medium: https://medium.com/@omnigeeker
steemit: https://steemit.com/@omnigeeker
zhihu:@Omnigeeker
jianshu:omnigeeker - 簡書

相關推薦

這個技術出現可能顛覆阿里AWS

在大資料和人工智慧的帶動下,越來越多的大型公司開始爭奪雲服務市場這塊香餑餑。 AWS、阿里雲、Azure,這些耳熟能詳的雲服務商依然牢牢佔據著全球70%以上的市場,但是隨著去年“區塊鏈”這個領域的興起,未來雲服務市場可能發生改變。 目前我們所知道的雲服務商、雲端

部分vivo和oppo手機使用上傳圖片功能可能出現退出webview的現象(回退到app的入口頁面)

在公司的app裡面嵌入了一個h5頁面,h5頁面有個使用圖片上傳功能,上傳圖片出現閃退的現象  問題描述: vivo手機,在app內的wap頁面使用上傳圖片的功能,在選擇好圖片點選確認按鈕後,出現退出整個webview,回退到app該wap頁面的入口頁面,且app自動重新整理了該入口頁面

RabbitMQ叢集出現網路分割槽可能丟資料

最近調研RabbitMQ叢集在出現網路分割槽時是否存在訊息丟失的情況。發現以下這種情況出現時,無法避免訊息丟失。由於希望高可用,叢集佇列一般都設定為持久化、lazy、映象佇列假設RMQ叢集有5個節點:node[1:5]假設佇列q 為一主一從,分別在 node1、node3節點

開發內嵌在 web可能遇到意想不到的 bug所以你需要你能在手機上檢視的控制檯。

// 載入控制檯 export const loadScript = (url, callback) => { const script = document.createElement('script') script.onload = () => callback()

模板巢狀類別名作為函式返回型別可能提示的編譯錯誤

  模板巢狀類別名作為函式返回型別,可能會提示的編譯錯誤 1 #include <iostream> 2 using namespace std; 3 4 template<typename ElementType> 5 class B 6 { 7

ThreadLocal使用注意:執行緒不安全可能發生記憶體洩漏

先說可能會發生記憶體洩漏: 前言 ThreadLocal 的作用是提供執行緒內的區域性變數,這種變數線上程的生命週期內起作用,減少同一個執行緒內多個函式或者元件之間一些公共變數的傳遞的複雜度。但是如果濫用ThreadLocal,就可能會導致記憶體洩漏。下面,我們將圍繞三個

Java——如果我面試別人可能用的問題(如果面試可能被問的問題)

我就面試過很少過的幾次,但是這些是一些總結,別人面試我的,還有和麵試官司的聊天中總結出來的內容。不全,但是足夠找一份很不錯的工作了。 java方面問題: 1. HashMap和ArrayList實現

maven打包編譯的錯誤:sun.misc.BASE64Decoder是Sun的專用API可能在未來版本中刪除

今天遇到 sun.misc.BASE64Decoder是Sun的專用API,可能會在未來版本中刪除 的錯誤 算是maven的一個bug吧。 maven-compiler-plugin 2.3.2 釋出

maven警告:com.sun.image.codec.jpeg.JPEGCodec 是 Sun 的專用 API可能在未來版本中刪除

警告:com.sun.image.codec.jpeg.JPEGCodec 是 Sun 的專用 API,可能會在未來版本中刪除 解決辦法 在pom.xml中bulid -> publgins加入:<plugin> <artifactId>maven-compiler-plu

maven打包編譯的異常 :sun.misc.BASE64Decoder 是 Sun 的專用 API可能在未來版本中刪除的解決方法

maven打包編譯的錯誤 :sun.misc.BASE64Decoder 是 Sun 的專用 API,可能會在未來版本中刪除的解決辦法 Maven編譯時報錯: 警告:sun.misc.BASE64Decoder 是 Sun 的專用 API,可能會在未來版本中刪除 處理方法

maven對 "xxx是Sun 的專用 API可能在未來版本中刪除"編譯出錯的處理

maven在編譯含有sun私有API的java程式碼的時候,會出錯並報告BUILD FAILURE。 報錯如下: 警告:com.sun.rowset.CachedRowSetImpl 是 Sun 的專用 API,可能會在未來版本中刪除 問題在於plexus-compiler-javac這個模組中,當遇到中

想想自己如果不做開發可能從事什麼職業?

你有考慮過如果不做程式設計師,你會從事什麼職業嗎?或者你現在正在發展什麼第二職業? 家庭   我們家族男的基本都是貨車司機,大學才畢業那會父母就想讓我學開車,至少有個技術,

maven 編譯報錯: sun.misc.BASE64Decoder 是 Sun 的專用 API可能在未來版本中刪除...

使用maven2編譯時報錯: [ERROR] \workspaces\mvn\javac-warning-test\src\main\java\com\juvenxu\TestJavacWarning.java:[7,32] 警告:sun.misc.BASE64Decoder

sun.misc.Cleaner 是 Sun 的專用 API可能在未來 版本中刪除

今天用maven編譯專案時,報如下警告: C:\sap\sapconfigurator\trunk\src\main\java\com\sap\smb\legacy\admin\ConvertToIma ge.java:[102,13] 警告:sun.misc.Cleaner

maven 打包編譯的錯誤 :sun.misc.BASE64Decoder 是 Sun 的專用 API可能在未來版本中刪除

使用 mvn clean package 報錯如下 ERROR] COMPILATION ERROR : [INFO] ------------------------------------------------------------- [ERROR] /sc

世上萬千變化在你我心裏一對一視頻交友+抖音短視頻讓創業者的你一鳴驚人

法規 下載 還需要 聊天系統 服務器配置 視頻服務 com ket 系統 做直播的都認為社交是直播最高的境界,尤其大BOSS如騰訊、花椒、小米之類,出手瞄準的就是社交。社交雖然不賺錢,但自帶吸粉光環,天生巨星氣質帝王命格。不過社交這件事卻也是最難的,普天之下也只有一個QQ一

騰訊金融賦能企業變革未來能否趕超阿里

10月18日,武漢農村商業銀行與騰訊雲簽署合作協議。武漢農商行將基於騰訊雲的金融大資料、雲端計算、移動網際網路以及人工智慧等技術能力,建設新一代的智慧銀行。4天前,中信銀行也聯合騰訊雲,在深圳召開“語見·美好未來”釋出會,推出手機銀行智慧語音產品,在銀行業內率先推出“點選按鍵”和“語言交流”兩種不同

2018.10.9 上線發現elasticsearch寫入速度超級慢原來罪魁禍首是阿里服務的OSS的鍋

問題描述: 按照專案計劃,今天上線部署日誌系統(收集線上的所有日誌,便於問題排查)。 運維按照以前的部署過程,部署elasticsearch,部署結束之後,通過x-pack的monitor發現elasticsearch的索引速度只有幾百/秒的索引速度,遠遠小於同樣的配置,沒有做優化的另一個es叢集

未來十年誰將挑戰阿里

最近看過兩篇軟文《中國雲端計算的十年江湖》、《阿里雲的這群瘋子》,裡面描述了中國雲端計算的10年,以及阿里雲的艱辛的創辦歷程。阿里作為中國公有云第一個吃螃蟹的企業,在08年王堅加入後,創辦的瘋子團隊,經過不懈的努力,一飛沖天,將阿里雲平臺創辦為中國當之無愧的老大,是值得行業尊敬的。 那未來

獨角獸公司招聘多個資深技術崗位包括網路爬蟲-後臺工程師ReactJS 前端工程師Python 後臺工程師Node.Js-後臺開發工程師PHP 後臺工程師DevOps 運維工程師 SRE

深圳樂途優聘獵頭公司獵頭顧問Mary Ma(微信lookforward1702) 歡迎使用Markdown編輯器 你好! 這是你第一次使用 Markdown編輯器 所展示的歡迎頁。如果你想學習如何使用Markdown編輯器, 可以仔細閱讀這篇文章,瞭解一下Mar