1. 程式人生 > >技術沙龍 | 從高併發架構到企業級區塊鏈探索零售創新

技術沙龍 | 從高併發架構到企業級區塊鏈探索零售創新

伴隨消費新理念的不斷升級和技術創新發展,零售業逐漸被推到風口浪尖,對此京東曾表示,推動“無界零售”時代的到來理念,倡導實現成本、效率、體驗的升級才是終極目標。

此概念一出,零售行業的側重點開始由銷售端向技術端傾斜,趁著一年一度618來臨之際,京東雲特別在上海舉辦了主題為"從高併發架構到企業級區塊鏈,探索無界零售的數字化創新"的技術沙龍活動。

本次活動以京東雲在零售業以及社交電商方面的核心技術以及成功解決方案為出發點,例如探求大促高併發流量資料庫保障經驗、社交電商的創新思路以及技術架構等細節,並結合京東雲在零售領域的諸多落地實踐,詳解無界零售數字化創新的方方面面,並與在場的開發者們展開深入探討。

現場開發者爆滿

 

從高併發架構到企業級區塊鏈

— 探索無界零售的數字化創新—

 

郭理靖

京東資料庫服務如何應對“大促活動”

 

眾所周知,京東商城流量業務多。很多業務在研發設計初期並不想選用太多種類的資料庫,因為並不知道著手的業務規模大小,所以在開始使用MySQL有時候會把日誌和大資料欄位也寫入資料庫,隨著資料積累量增多,使用者規模擴大,未來會涉及資料切換的問題。

                                                                                                                                   ——郭理靖

                                                                                                               京東雲產品研發部高階總監

一直以來每逢大促,與剁手黨們共同忙活到“天荒地老”的當屬各大電商網站了。為了及時釋放各類商品的“殺豬價格”,積極鼓勵使用者參與琳琅滿目的搶購與秒殺環節,電商們可真是十八般武藝樣樣精通。

此時一門心思“買買買”的你可否想到,面對瞬間爆發的訪問壓力以及海量的交易資料,TA們如何做到“臨高不亂”場景呢?很顯然,位於底層架構的資料庫實在功不可沒。對此京東雲產品研發部高階總監郭理靖現場帶來了“京東資料庫服務如何應對“大促活動”的技術分享。

作為在資料庫領域有豐富經驗的技術專家,郭理靖分別從京東商城如何運作618的大促實踐以及京東雲怎樣支撐商城以及商城ISV等共同應對高流量大促等角度入手詳細加以闡明。

京東雲產品研發部高階總監   郭理靖

 

對於一些複雜離線的查詢,可以遷移到Elasticsearch或者Hadoop,通過定義一些結轉策略,把資料庫的資料定期或者實時同步到Elasticsearch、Hadoop中去。

京東商城的訂單以及商品庫存量較大眾所共知。如果選擇在一個表單上讀寫幾十億的資料集,單機肯定無法承受這樣的工作量,要是選擇拆分為64個表或者128個表單的話,再加上有工具支撐就可以高效解決上述問題,京東內部的分散式資料庫服務Jproxy就能派上用場。

關於智慧分析,京東雲在助力電商的過程中,非常重視SQL慢日誌分析以及容量分析,同時也對會執行狀態進行詳細的監控,比如連線數是不是一直在增長、IO壓力、CPU壓力等;也嘗試做一些故障自愈以及磁碟自動化清理等。

在”京東雲的服務實踐”方面,在雲端提供資料庫服務,例如MySQL、Percona、MariaDB、MongoDB、SQl Server等等。另外京東雲還在資料庫安全、審計、日誌等諸多方面提供了豐富的管理功能,也支援Binlog的自動備份和下載。

在監控方面,京東雲的嘗試也是比較細緻的,其中包括監控服務、報警服務等。值得提及的是,其中所有監控項都可以設定規則,比如可以設定CPU及記憶體使用量超過70%,就進行簡訊報警。而所有的指標都是對接到雲監控系統。“如果使用者流量較大,需要進行讀寫分離的話,我們也支援只讀例項建立,最大支援建立8個只讀例項,每個只讀例項都可以分配一個獨立域名,可以直接用域名進行訪問。”他補充道。

分享之後,開發者還針對Binlog格式的修改、分散式分表的高可用性等問題展開了細緻探討。

 

鄭永

企業級監控系統設計與實踐

結合運維知識庫,我們可以真正把故障和報警聯動起來,對於相關的報警,監控系統可以自動排程對應的預案,從而達到系統的故障自愈。

                                                                                                                                                        ——鄭永寬

                                                                                                                                          京東雲產品研發部總監

有人說,做運維,如果從傳統部署到大規模自動化,對Coding的能力要求勢必越來越高;也有人說,很多IT企業走在“重研發輕運維”的老路上,如今雲端計算大勢所趨肯定要大改;還有人說,現在都聊場景化,高併發下的運維監控要處處“到位”,必須突破原有思維模式…… 

監控是什麼?監控是運維的生命線。

監控解決什麼問題?遠遠不止發現問題,還需解決發現問題以後的定位,和定位後的止損。從而整體降低故障MTTR,即持續時間。畢竟針對京東這種體量的電商,是不允許長時間宕機的情況發生的。鄭永寬總結道:無論是發現問題、定位問題還是解決問題,瞭解系統狀態十分重要,都需要監控系統做及時的反饋。接下來鄭永寬談到了京東雲如何做好監控以及如何做好對應的監控系統的問題。

京東雲產品研發部總監  鄭永寬

據瞭解,京東雲會針對每個系統做專門的監控梳理,同時對各種異常準備相應的預案,來保證系統的高效運轉;首先我們定義了一套統一的監控標準:即監控需要覆蓋基礎-存活-效能-業務四個層面,從而保證了採集資料的全面,進而避免監控遺漏。具體來說,基礎監控涵蓋了機器的基本指標,比如CPU、記憶體、硬碟等;存活監控則聚焦機器和服務程序的存活性;效能監控關注服務對外表現的效能指標,比如PV、平響、錯誤碼等;業務監控則是從使用者角度,監控系統是否提供正常服務。進一步,根據不同的報警,我們可以定位到相應的問題,再輔以對應的預案,從而確保了故障的第一時間定位與恢復。

對於監控系統的設計,鄭永寬則首先強調了系統設計要以監控業務需求為基礎,同時要結合京東雲的實際情況。鄭永寬接下來介紹了京東雲監控系統架構,進一步分析了資料抽象、監控資料採集、資料匯聚與計算、資料儲存與查詢、異常檢查、報警通路等監控系統設計中的關鍵問題,另外還分享了對日誌資料處理和挖掘的相關經驗。

據悉,未來京東雲還會著手配置化管理,同時做故障自動恢復。"結合運維知識庫,我們可以真正把故障和報警聯動起來,對於相關的報警,監控系統可以自動排程對應的預案,從而達到系統的故障自愈。

 

趙金勇

社交電商SaaS產品技術架構

無論是寶寶樹還是小紅書的場景化社交,這種勢頭的興起是有目共睹的;現在的消費群體更注重設計感及品牌的內在價值等,面對電商發展的四化,傳統電商 群體遇到了前所未有的瓶頸。

                                                                                                                                                            ——趙金勇

                                                                                                                             京東雲應用研發部社交電商負責人

你瞭解社交電商嗎? 

你知道微信小程式SAAS化嗎? 

實力強大並有口皆碑的京東電商雲在社交電商領域究竟有哪些技術優勢呢?

京東雲應用研發部社交電商負責人  趙金勇

有關這些問題的答案,京東雲應用研發部社交電商負責人趙金勇表示,從整個電商發展來看可以被總結為“四化”,分別是去中心化、場景化、碎片化以及個性化。逐一說明,我們發現流量成本越來越高,“帶領著”獲客成本、品牌商運營成本也一路居高不下,這恐怕就是品牌商自己不做運營選擇其他途徑的原因,正所謂“品牌形象宣傳去中心化” 就是這個道理。

"同樣,無論是寶寶樹還是小紅書的場景化社交,這種勢頭的興起是有目共睹的;現在的消費群體更注重設計感及品牌的內在價值等,面對電商發展的四化,傳統電商 群體遇到了前所未有的瓶頸。”他補充道。

所謂社交電商,必然與”社交”關係密切,進而社交工具自然必不可少。除了憑藉五花八門的推送工具,京東雲社交電商還憑藉京東與生俱來的海量商品以及優勢供應鏈屢獲成績。基於京東大資料營銷的能力,海量使用者的精準畫像以及商品推銷、智慧選品等這些穩定可靠的基礎服務來打造系統。

據瞭解,京東社交電商分三端,分別是買家端、供應商端和PC端。未來社交電商的系統會接入到京東龐大的商品池,大家可以在整體的商品池中挑選自己的產品,共同的良性生態就此構建。

 

張作義

基於企業級區塊鏈框架系統JD Chain的技術實踐

京東區塊鏈品牌名叫京東智臻鏈,京東區塊鏈的架構體系分為JD Chain和JD BaaS(Blockchain as a Service)兩部分。在今年釋出的《2019京東區塊鏈技術實踐白皮書》中,5大類、14個應用案例的資訊都在列。

                                                                                                                                                            ——張作義

                                                                                                                                 京東數科區塊鏈產品創新負責人

一直以來,商品的防偽溯源被認為是當今最有前景的區塊鏈落地領域之一,也被戲稱為讓零售行業創新發展的“無上法寶”。

與傳統溯源比較而言,區塊鏈溯源究竟有怎樣的技術、產業優勢?能夠幫助解決零售業務中怎樣的痛點?如今還有哪些相關技術創新應用在傳統零售行業中?

對此京東數科區塊鏈產品創新負責人,區塊鏈聯合實驗室創新生態負責人張作義特別在現場聊了聊京東區塊鏈防偽追溯的實踐經驗。從京東區塊鏈技術與應用著手,詳細解析了京東區塊鏈技術的整體技術架構、演進過程以及在零售業落地的應用案例與寶貴經驗等內容。

京東數科區塊鏈產品創新負責人,

區塊鏈聯合實驗室創新生態負責人  張作義

從京東區塊鏈整體架構出發,張作義介紹到,京東區塊鏈品牌名叫京東智臻鏈,京東區塊鏈的架構體系分為JD Chain和JD BaaS(Blockchain as a Service)兩部分。JD Chain作為核心引擎,在資料賬本、共識協議、密碼演算法、儲存等方面引入新的研究成果和工程架構,解決處理效能、伸縮性、擴充套件性、安全性等基礎和關鍵的技術問題,建立創新性的技術架構和應用方案。JD BaaS是服務平臺,提供靈活易用和可伸縮的區塊鏈系統管理能力,無縫融合包括JD Chain、Fabric在內多種區塊鏈系統的部署管理,向企業級使用者提供公有云、私有云及混合雲環境快速部署能力,降低企業使用成本,加快應用落地。“在今年釋出的《2019京東區塊鏈技術實踐白皮書》中,5大類、14個應用案例的資訊都在列。”他說。

據瞭解,京東自主智慧財產權的區塊鏈底層框架JD Chain於2019年3月正式宣佈開源,在“萬級交易處理、秒級交易確認、海量賬戶和交易、動態伸縮、賬戶儲存、多核並行、密碼演算法”等方面符合經典區塊鏈對儲存、技術等定義及要求,同時還將Key Value結構用於現有的資料儲存中,極大地提高了處理效率,這也是JD Chain能夠支援更高速度的原因。

眾所周知,京東擅長零售、物流與數字科技領域,這同時也是京東區塊鏈主要服務的方向。例如參與廣州網際網路法院“網通法鏈“建設、區塊鏈增值稅專用發票試點、與宿遷的電子證照打通試點等,實際賦能數字存證、電子發票、電子證照等方面的諸多實際應用。

舉個例子來說,區塊鏈的數字存證。我們參與了北京網際網路法院和廣州網際網路法院的區塊鏈專案,需要把使用司法服務的內容搭載一條司法聯盟鏈,主要可以實現什麼作用?比如說簽署一個合同,去公證處公證是必要流程之一,如果有了這個聯盟鏈,所有的操作都可以在企業“朋友圈”實現,可以被理解為是數字簽名的技術,以此判斷合同簽署的合法性,同時簽完的合同會及時備份到這條聯盟鏈中,如此法院、公證處以及司法鑑定部門,還包括合同雙方的簽署人都及時獲知該資訊。

此外,京東區塊鏈在防偽追溯方面做得最多,分享幾個資料來證明這點。例如已經受四五次大促考驗,使用者復購率、使用者轉化率明顯提高等,說明現在京東目標客群對消費升級對這個品質的高度認可。

 

//////////

儘管京東雲針對零售場景的創新技術分享已暫時告一段落,但關於大促資料庫、智慧運維、社交電商以及區塊鏈品質溯源等技術探討依舊在火熱進行中,敬請關注京東雲技術沙龍的後續活動。

 

關注微信公眾號“京東雲開發者社群”

回覆“PPT0526”獲取課程視訊&PPT。

 

轉載:請微信後臺回覆“轉載”

合作或投稿[email protected]