T-10-雲端計算與大資料01
本文內容參考國家數字化學習工程技術研究中心張昭理教授授課內容,筆者為所授課學生,才疏學淺,不足之處,望乞見諒
1. 雲端計算概述
1.1. 什麼是雲端計算?
雲端計算( Cloud Computing Cloud Computing Cloud Computing ),是一種基於網際網路的計算方式 ,通過這種方式共享的軟硬體資源和資訊,可以按需求提供給計算機和其他裝置。
雲端計算是繼1980年代大型計算機到客戶端-伺服器的大轉變之後又一種鉅變。使用者不再需要了解“雲”中基礎設施的細節,不必具有相應專業知識也無需直接進行控制。雲端計算描述了一種基於網際網路新IT服務增加、使用和交付模式,通常涉及過網際網路來提供動態易擴充套件而且經是虛擬化的資源。
在“軟體即服務(SaaS)”的服務模式當中,使用者能夠訪問軟體及資料。提供者則維護基礎設施平臺以維持服務正常運作。SaaS常通是基於使用時數來收費,有也會採訂閱制的服務。
SaaS使得企業能夠藉由外包硬體、軟維護及支援服務給提供者來降低IT營運費用。另外,由於應用程式是集中供應的,更新可以實時釋出無需使用者手動或安裝軟體。SaaS的缺陷在於使用者資料是存放在服務提供者的伺服器之上,使得有能力對這些資料進行未經授權訪問。

雲端計算
1.2. 雲端計算基本特徵
網際網路上的雲端計算服務特徵和自然界、水迴圈具有一定相似性,因此是個當貼切比喻。根據美國家標準和技術研究院的定義,雲端計算服務應該具備以下幾條特徵:
• 隨需應變自助服務。
• 隨時地用任何網路裝置訪問。
• 多人共享資源池。
• 快速重新部署靈活度。
• 可被監控與量測的服務。
一般認為還有如下特徵:
• 基於虛擬化技術快速部署資源或獲得服務。
• 減少使用者終端的處理負擔。
• 降低了使用者對於 IT 專業知識的依賴 。

雲端計算的特點
1.3. 服務模式
美國國家標準和技術研究院的雲端計算定義中明確了三種服務模式:
- 軟體即服務(SaaS):
消費者使用應用程式,但並不掌控作業系統、硬體或運作的網路基礎架構。是一種服務觀念的基礎,軟體服務供應商,以租賃的概念提供客戶服務,而非購買,比較常見的模式是提供一組賬號密碼。例如:Microsoft CRM與Salesforce.com
- 平臺即服務(PaaS):
消費者使用主機操作應用程式。消費者掌控運作應用程式的環境(也擁有主機部分掌控權),但並不掌控作業系統、硬體或運作的網路基礎架構。平臺通常是應用程式基礎架構。例如:Google App Engine。
- 基礎架構即服務(IaaS):
消費者使用“基礎計算資源”,如處理能力、儲存空間、網路元件或中介軟體。消費者能掌控作業系統、儲存空間、已部署的應用程式及網路元件(如防火牆、負載平衡器等),但並不掌控雲基礎架構。例如:Amazon AWS、Rackspace。

三種服務模式
1.4. 部署模型
美國家標準和技術研究院的雲端計算定義中也涉及了關於部署模型:
- 公有云 ( Public Cloud )
簡而言之,公用雲服務可通過網路及第三方供應者開放給客戶使,“public”一詞並不定代表“免費”,但也可能代表或相當廉價,公用雲並不示戶資料供任何人檢視應者通常會對使用者實施使訪問控制機,公有云作為解決方案既有彈性又具備成本效益。
- 私有云( Private Cloud )
私有云具備許多公用環境的優點,例如彈性、適合提供服務兩者差別在於中資料與程式皆在組織內管理,且與公用雲服務不同會受到網路頻寬、安全疑慮法規限制影響;此外私有云服務讓供應者及使用者更能掌控雲基礎架構、改善安全與彈性,因為網路都受到特殊限制 。
- 社群雲( Community Cloud )
社群雲由眾多利益相仿的組織掌控及使用,例如特定安全要求、共同宗旨等。社群成員共同使用雲資料及應用程式。
- 混合雲( Hybrid Cloud )
混合雲結合公有云及私有云,這個模式中使用者通常將非企業關鍵資訊外包,並在公有云上處理,但同時掌控企業關鍵服務及資料 。
部署模型
1.5. 核心特性
-
雲端計算從硬體結構上是一種多對的,從服務的角度或從功能的角度它是多對一的。
-
截止到2009年,大部分的雲端計算基礎構架是由通過資料中心傳送的可信賴的服務和建立在伺服器上的不同層次的虛擬化技術組成的。
-
雲的基本概念,是 通過網路將龐大的計算處理程式自動分拆成無數個較小的子程式,再由多部伺服器所組成的龐大系統搜尋、計算分析之後將處理結果回傳給使用者 。通過這項技術,遠端的服務供應商可以在數秒之內,達成處理數以千萬計甚至億計的資訊,達到和“超級計算機”同樣強大效能的網路服務。
-
應用程式介面(API)的可達性是指允許軟體與雲以類似“人機互動”的方式來互動。雲端計算系統典型的運用基於REST(Representational State Transfer)網路架構的API。
-
一種稱為多租戶的軟體架構技術允許在多使用者池下共享資源與消耗。
-
效能受到監控,同時 一致性 以及 鬆散耦合架構 通過web services作為系統介面被構建起來。
-
因為資料 集中化 了,故安全性得到了提升,增加了關注安全的資源等,但對特定敏感資料的失控將是持續關注的,且核心儲存的安全性缺少關注。
2. 大資料介紹
2.1. 何謂大資料
大資料,指海量資料或巨量資料,其規模巨大到無法通過目前主流的計算機系統在合理時間內獲取、儲存、管理、處理並提煉以幫助使用者決策。

大資料搜尋指數
2.2. 大資料的特點

4V+1C
2.3. 大資料與雲端計算的關係

雲端計算——大資料的計算
二么士