1. 程式人生 > >資料密集、計算密集、IO密集

資料密集、計算密集、IO密集

I/O bound 指的是系統的CPU效能相對硬碟/記憶體的效能要好很多,此時,系統運作,大部分的狀況是 CPU 在等 I/O (硬碟/記憶體) 的讀/寫,此時 CPU Loading 不高。

計算密集型 (CPU-bound) 也有人認為是Compute-Intensive
CPU bound 指的是系統的 硬碟/記憶體 效能 相對 CPU 的效能 要好很多,此時,系統運作,大部分的狀況是 CPU Loading 100%,CPU 要讀/寫 I/O (硬碟/記憶體),I/O在很短的時間就可以完成,而 CPU 還有許多運算要處理,CPU Loading 很高。

在多重程式系統中,大部份時間用來做計算、邏輯判斷等CPU動作的程式稱之CPU bound。例如一個計算圓周率至小數點一千位以下的程式,在執行的過程當中

絕大部份時間用在三角函式和開根號的計算,便是屬於CPU bound的程式。

CPU bound的程式一般而言CPU佔用率相當高。這可能是因為任務本身不太需要訪問I/O裝置,也可能是因為程式是多執行緒實現因此遮蔽掉了等待I/O的時間。
而I/O bound的程式一般在達到效能極限時,CPU佔用率仍然較低。這可能是因為任務本身需要大量I/O操作,而pipeline做得不是很好,沒有充分利用處理器能力。

在計算密集中,當時關注超級計算、高效能運算、網格計算等主要以計算速度為追求指標。

資料密集(Data-Intensive)

   在2011年,"大資料"的概念已經賺足了人氣,調研機構IDC數字宇宙在2011年6月的報告顯示,全球資料量在2011年已達到1.8ZB,在過去5年裡增加了5倍,而到2015年將達到近8ZB.進入2012年,大資料絲毫不會放慢增長的步伐,全球製造業、政府、零售商、金融等眾多機構已經陷入"資料爆炸"的困境。隨著資料量的急劇增長,以及對資料線上處理能力的要求不斷提高,海量資料的處理問題越來越受到關注。在金融、電信等領域,都需要通過對大量的使用者資料進行分析,才能做出相應的決策。對網際網路資料進行

儲存和處理的海量資料處理系統也開始向資料密集型計算系統發展。

   資料密集型應用與計算密集型應用是存在區別的,傳統的計算密集型應用往往通過平行計算方式在緊耦合的超級計算機上執行少量計算作業,即一個計算作業同時佔用大量計算機節點;而資料密集型應用的特點主要是:

1.         大量獨立的資料分析處理作業可以分佈在鬆耦合的計算機集群系統的不同節點上執行;

2.         高度密集的海量資料I/O吞吐需求;

3.         大部分資料密集型應用都有個資料流驅動的流程。

資料密集型計算指能推動前沿技術發展的對海量和高速變化的資料的獲取、管理、分析和理解。這包含了三層含義:

●    它所處理的物件是資料,是圍繞著資料而展開的計算。它需要處理的資料量非常巨大,且快速變化,它們往往是分佈的、異構的。因此,傳統的資料庫管理系統不能滿足其需要。

●    "計算"包括了從資料獲取到管理再到分析、理解的整個過程。因此它既不同於資料檢索和資料庫查詢,也不同於傳統的科學計算和高效能運算。它是高效能運算與資料分析和挖掘的結合。

●    它的目的是推動技術前沿發展,要想推動的工作是那些依賴傳統的單一資料來源、準靜態資料庫所無法實現的應用。

資料型密集計算的典型應用可概括為以下三類:

1)Web應用:無論是傳統的搜尋引擎還是新興的Web 2.0應用,它們都是以海量資料為基礎,以資料處理為核心的網際網路服務系統。為支援這些應用,系統需要儲存、索引、備份海量異構的Web頁面、使用者訪問日誌以及使用者資訊(Profile),並且還要保證對這些資料快速準確的訪問 。顯然,這需要資料密集型計算系統的支援,因而WEB應用成為資料密集型計算髮源地。

2)軟體即服務(Software as a Service, SaaS)應用:SaaS通過提供公開的軟體服務介面,使得使用者能夠在公共的平臺上得到定製的軟體功能,從而為使用者節省了軟硬體平臺的購買和維護費用,也為應用和服務整合提供了可能。由於使用者的各類應用所涉及的資料具有海量、異構、動態等特性,有效地管理和整合這些資料,並在保證資料安全和隱私的前提下提供資料融合和互操作功能需要資料密集型計算系統的支援。

3)大型企業的商務智慧應用:大型企業往往在地理上是跨區域分佈的,網際網路提供了統一管理和全域性決策的平臺。實現企業商務智慧需要整合生產、銷售、供應、服務、人事、財務等一系列子系統。資料是整合的物件之一,更是實現商務智慧的基礎。由於這些系統中的資料包括產品設計、生產過程以及計劃、客戶、訂單、售前後服務等資料,除型別多樣,數量巨大外,結構也是複雜、異構的。資料密集型計算系統是實現跨區域企業商務智慧的支撐技術。

相關推薦

數學計算幾何位運算常見問題詳解

splay nsf let pen ide ont display you size ? 矩陣上的問題(3題) Search a 2D Matrix II public int searchMatrix(int[][] matrix, int target) {

TensorFlow框架(一) 張量計算會話

type ont 權重 src target col flow imp mooc 參考:中國大學MOOC 北京大學 曹健《TensorFlow筆記》 基於TensorFlow的NN:用張量表示數據,用計算圖搭建神經網絡,用會話執行計算圖,優化線上的權重(參數),得

python彈球遊戲 第三章計算分數顯示分數更新難度遊戲結束判斷

設計概要前兩章我們實現了介面、球、木板的建立,並使得球可以相對邊緣彈來彈去,木板可以通過ws,上下鍵來移動,構成了遊戲的基本框架。接下來需要新增函式來實現遊戲的可玩性1、左右板子玩家的分數。通過檢測小球與板子的碰撞來增加玩家的分數,因此需要調節的量:             

CPU卡校驗MAC1計算MAC2校驗TAC的方式及流程

前言 mac1驗證、mac2計算、tac驗證流程 執行結果如下 涉及的幫助類

資料密集計算密集IO密集

I/O bound 指的是系統的CPU效能相對硬碟/記憶體的效能要好很多,此時,系統運作,大部分的狀況是 CPU 在等 I/O (硬碟/記憶體) 的讀/寫,此時 CPU Loading 不高。 計算密集型 (CPU-bound) 也有人認為是Compute-Intensive CPU bound 指的是

資料密集計算密集IO密集,hadoop如何應對?

I/O bound 指的是系統的CPU效能相對硬碟/記憶體的效能要好很多,此時,系統運作,大部分的狀況是 CPU 在等 I/O (硬碟/記憶體) 的讀/寫,此時 CPU Loading 不高。 計算密集型 (CPU-bound) 也有人認為是Compute-Intensive CPU bound 指的是

計算密集型IO密集型資料密集型

計算密集型(CPU-Intensive) 1、特點:要進行大量的計算,消耗CPU資源。比如計算圓周率、對視訊進行高清解碼等等,全靠CPU的運算能力。 2、計算密集型任務雖然也可以用多工完成,但是任務越多,花在任務切換的時間就越多,CPU執行任務的效率就越低,所以,要最高效地利用CPU,計算密

深入淺出“跨檢視資料粒度計算”--1理解資料的粒度

此文已由作者王文開授權網易雲社群釋出。 歡迎訪問網易雲社群,瞭解更多網易技術產品運營經驗。 跨檢視資料粒度計算(Cross-Granularity Calculation)是網易有數推出的新功能,CGC的優點是您可以獨立於當前檢視用的維度來執行此計算。CGC計算表示式一共有三種,分別是:FIXED,INCL

資料計算得到門店款號顏色尺碼每週的期末庫存-python版

1.獲取的資料 2.我們發現日期這一行是字串形式,需要進行轉化 data_lz['date_io'] = pd.to_datetime(data_lz['date_io']) 3.我們要檢視資料中每週的庫存量,所以要把日期換算成周,但是我們發現數據是跨年的,所以我們需要先把年

請根據此資料計算得到門店款號顏色尺碼每週的期末庫存(請給出必要的思路和程式碼以及結果)。

在客戶實際業務中由於庫存檔點比較費時,通常會在月末進行一次統一盤點,而不會每日進行庫存檔點。 但是模型探索過程中經常會需要日末庫存或週末庫存的資料,因此需要根據出入庫資料進行彙總計算得到期末庫存。 附件df_io.csv是一份出入庫資料表,其中各欄位含義如下:   &

計算機器前傳:結繩算籌算盤等手動計算髮展史(公號回覆“手動計算”下載PDF資料,歡迎轉發讚賞支援科普)

科學Sciences導讀:計算機前傳之結繩、算籌、算盤等手動計算,到加法機、乘法機、分析機等機械計算,重點講述算盤和機械加法機的原理,展示分析機複雜圖樣。本期鋪墊,下期紙帶機、電傳紙帶機、單任務電子計算機是理解圖靈機、圖靈完備理論基礎之一和實物背景知識。此文為“科學Sciences”公號作業系統

Vue框架-基礎知識(vue指令例項生命週期計算屬性與監聽屬性插槽理解元件介紹資料互動ES6語法等)

Vue.js 介紹 vue.js是當下很火的一個JavaScript MVVM庫,它是以資料驅動和元件化的思想構建的。相比於Angular.js,Vue.js提供了更加簡潔、更易於理解的API,使得我們能夠快速地上手並使用Vue.js。 什麼是MVVM模式?

23python對資料進行求和方差平均值等基本統計指標計算

 基本統計分析:描述性統計分析,用來概括失誤整體狀況以及事物間聯絡,以便發現其內在的規律的統計分析方法 常用的統計指標: 計數 求和 平均值 方差 標準差 1  函式 描述性統計函式: describe() 常用的統計函式: 統計函式  註釋 s

計算機密集IO密集及其對比

CPU密集型(CPU-bound) CPU密集型也叫計算密集型,指的是系統的硬碟、記憶體效能相對CPU要好很多,此時,系統運作大部分的狀況是CPU Loading 100%,CPU要讀/寫I/O(硬碟/記憶體),I/O在很短的時間就可以完成,而CPU還有許多運算要處理,CPU

Qt之常用的資料轉換計算

int與string之間的轉換 Qt C++ int i; QString str; str = QString::number(i); QString str; int i; i = str.t

資料儲存計算應用視覺化,資料的基本概述都在這裡了

未來的時代,一定是資料的時代,在未來,一切被記錄,一切被分析,資料將以資產的方式存在,相關知識如下: 一、先說各種資料儲存 資料是個很泛的概念,但是我們腦海裡第一反應的就是關係型資料庫和EXCEL這種二維表是資料。 而現在資料各種各樣特色,有文件、有圖片、有流式

【Enweitech Software Works】創新實踐。致力於軟體與網際網路研究…專注網站建設與推廣軟體開發雲端計算、手機APP定製電子資訊系統整合與應用資訊保安與資料管理軟體外包數字化解決方案和企業資訊化諮詢服務。

創新實踐。致力於軟體與網際網路研究…專注網站建設與推廣、軟體開發、雲端計算、手機APP定製、電子資訊系統整合與應用、資訊保安與資料管理、軟體外包、數字化解決方案和企業資訊化諮詢服務。...

磁碟儲存器儲存總量尋道時間等待時間資料傳輸速率等計算公司

幾個概念: (1)磁軌與磁軌之間要儲存一定的間隔(inter-track gap),沿磁碟半徑方向,單位長度內磁軌的數目稱之為道密度(道/英寸,TPI),最外層為0道。 (2)沿磁軌方向,單位長度記憶體儲的二進位制資訊個數叫位密度。 (3)磁碟的資料傳輸是以塊為單位的,所以磁

Apache Pulsar:實時資料處理中訊息計算和儲存的統一

本文來自於 QCon 北京2018全球開發者大會,作者翟佳,其畢業於中科院計算所,

雲端計算分散式架構K8S資料機器學習搜尋推薦廣告

1、先看一下數學中的異或     異或xor是一個數學運算子。它應用於邏輯運算。異或符號為“^”。 異或也叫半加運算,其運演算法則相當於不帶進位的二進位制加法:二進位制下用1表示真,0表示假,則異或的運演算法則為:0異或0=0,1異或0=1,0異或1=1,1異或1=0(同為