1. 程式人生 > >系統技術非業餘研究 » 區域性性原理在計算機和分散式系統中的應用課程PPT

系統技術非業餘研究 » 區域性性原理在計算機和分散式系統中的應用課程PPT

這個課程最主要focus在資料的區域性性原理,從硬體到作業系統到應用程式這樣的順序過來的,對於我們提高核心系統軟體的效能非常有啟發意義.

課件下載點選這裡
修正:由於原連結已經不存在了,特地在這裡放了一份。

以下是教程的介紹:
課程簡介
________________________________________
  在計算機系統中,資料的儲存、訪問和傳輸已成為阻礙系統性能的主要瓶頸,訪問資料的速度遠遠低於計算的速度,而對資料訪問的需求已經成為計算機執行的主要部分。 資料在計算機系統中的儲存層次也變得越來越深:從硬體快速暫存器(Registers)到快速儲存器(Cache)再到主存的DRAM,通過資料匯流排,系統可以與各種磁碟,如半導體的固態儲存器(Solid State Device)或機械的硬磁碟等。通過網際網路,計算機之間還可以通過網路進行大規模的遠端儲存、訪問和通訊。
  計算機系統中的資料訪問的速度和效率是由兩個基本要素決定的:(1)點與點之間的傳輸的速度(Bandwidth);(2)在某點讀或寫資料的時間延遲(Latency)。在過去的20多年裡,在計算機的各個不同的聯結點之間資料的傳輸速度,有了很大的提高,但資料訪問的延遲卻沒能有效地改善。為了解決這一對越來越突出的矛盾,在計算機系統設計和實現中,三種最有效的硬體或軟體的方法是:快取(Caching),備份(Replication)和預取(Prefetching)。
課程大綱
________________________________________
  這門課以上面提到的三個基本技術為核心,全面介紹計算機各個儲存層面上的最有代表性和最先進的資料管理方法。課程安排如下:

(一) 硬體快速儲存器(Cache)的設計與改進
(1) 基本結構
(2) 命中率和訪問延遲的取捨
(3) 高命中率和低訪問延遲Cache的設計
(4) 多核處理器(Multicore)中的Cache管理
(二) 主存DRAM內區域性性(Locality)的挖掘
(1) DRAM快取區(row buffer)的結構
(2) 在DRAM內區域性性丟失的原因
(3) 一種保留區域性性的記憶體地址空間的對映方法
(4) 嵌入Cache 的DRAM的設計與系統應用
(三) 記憶體和磁碟管理中的核心技術:替換演算法
(1) LRU演算法優點以及難以解決的問題
(2) LIRS演算法是如何解決LRU問題的
(3) Clock-pro: LIRS是如何實現在作業系統核心的
(4) BP-wrapper:消除替換演算法在系統實現中的同步竟爭
(四) 提高作業系統對磁碟的管理功能和效率
(1) 作業系統對磁碟管理的侷限性
(2) 擴大作業系統的視野去獲得關鍵的磁碟資料儲存地址資訊
(3) DULO-Caching和DULO-Prefetchin:感知磁碟資料分佈的快取(Caching)和預取(Prefetching)方法以及系統實現
(五) 固態快閃記憶體系統(Solid State Device Flash Memory)
(1) SSD Flash Memory的結構和效能
(2) SmartSaver: 利用快閃記憶體來降低磁碟能耗
(3) SSD的讀、寫,以及快取的高效管理
(六) 在網際網路和無線網上的資料管理和有效傳輸
(1) Stretched Exponential Distribution: 為什麼P2P在網際網路上是傳輸多媒體的一種最有效的方法?
(2) 資料快取在無線網上的作用

Post Footer automatically generated by wp-posturl plugin for wordpress.

No related posts.

相關推薦

系統技術業餘研究 » 區域性性原理計算機分散式系統應用課程PPT

這個課程最主要focus在資料的區域性性原理,從硬體到作業系統到應用程式這樣的順序過來的,對於我們提高核心系統軟體的效能非常有啟發意義. 課件下載點選這裡 修正:由於原連結已經不存在了,特地在這裡放了一份。 以下是教程的介紹: 課程簡介 ___________________________

系統技術業餘研究 » 新的工作研究方向

和大家更新下: 做了將近8年資料庫後,我的工作和研究方向將會延伸到虛擬化和計算相關的雲服務,希望能夠和大家一起進步,Happy New Year! 預祝大家玩得開心! Post Footer automatically generated by wp-posturl plugin for w

系統技術業餘研究 » Linux下FioBlktrace模擬塊裝置的訪問模式

我們在做塊裝置調優的時候, 我們關心的是塊裝置是如何被訪問的,也就是訪問模式(比如說每次從什麼地方讀,每次讀多少塊,熱點在哪裡等),至於每次讀寫的什麼資料我們並不關心. 這些模式當然可以自己去構造,但是如果能把真實應用的訪問模式記錄下來,並且在調優的時候能重放,我們就可以一遍又一遍的除錯直到達到最

系統技術業餘研究 » leveldb效能分析表現

Leveldb是一個google實現的非常高效的kv資料庫,目前的版本1.2能夠支援billion級別的資料量了。 在這個數量級別下還有著非常高的效能,主要歸功於它的良好的設計。特別是LSM演算法。 那麼資料庫最怕的的隨機IO他是如何解決的呢? 先說隨機寫,它的寫都是先記錄到日誌檔案去的,在日

系統技術業餘研究 » cover的原理及其啟示

我們先看下cover模組的功能: The module cover provides a set of functions for coverage analysis of Erlang programs, counting how many times each executable line

系統技術業餘研究 » 計算機系統元件的吞吐量延遲 看圖不說話

這個圖挺好的,就是比較粗線條,有些東西不太完整/準確,比如現有的USB實際上是480M/12M和1.5M三種速率(暫不算3.0和無線的) 另:幫樓主補充一下這類資料的意義:如果對各種匯流排的速率和IOPS如果沒有概念和預估,寫程式時就只能Compile & Pray了。 Reply:O

系統技術業餘研究 » erlang的profile工具原理優缺點

erlang的tools application下包含了一系列的profile工具, 包括 eprof cprof fprof, 具體的使用可以參看文件和<< erlang effective guide>>. 我這裡要說的是他們的工作原理。 這些模組的核心都是根據erla

系統技術業餘研究 » erlang高階原理應用PPT

公司培訓用的 湊合看吧 主要講erlang系統的特點,分佈叢集以及mnesia的使用, 從比較高的角度來看erlang, 讓你有了大體觀. Post Footer automatically generated by wp-posturl plugin for wordpress. No

系統技術業餘研究 » Inside Erlang VM(你需要知道的VM原理)

公司培訓用的文件, 對於Erlang的VM會有個大體的認識, 方便設計和使用Erlang. 點解下載pdf格式的文件 Post Footer automatically generated by wp-posturl plugin for wordpress.

系統技術業餘研究

ItPub寫的文章“2017 年度 DB-Engines 資料庫冠軍得主:PostgreSQL 封王!”, 點選 這裡 進一步閱讀 升的最快的幾個資料庫,我簡單的無責任點評: PG資料庫是很老的資料庫,不過這幾年冉冉升起,因為是學院派的,有很好的學術和智力的支援,一直以來在資料庫的體系結構,程式碼

系統技術業餘研究 » MySQL資料庫架構的演化觀察

MySQL資料庫架構的演化觀察 December 14th, 2017 Categories: 資料庫 Tags: mysql

系統技術業餘研究 » inet_dist_connect_options

Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke

系統技術業餘研究 » 推薦工作機會

最後更新時間:2014/11/28 請賜簡歷至:[email protected], 感謝您對加入我們公司有興趣,我們希望能早日和您共事。 以下幾個職位1年內有效,歡迎內部轉崗:
 資深資料工程師 公司:阿里(核心系統資料庫組) 工作地點:杭州(西溪園區) 崗位描述: 分析雲服務產生的海

系統技術業餘研究 » 叢集引入inet_dist_{listen,connect}_options更精細引數微調

Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke

系統技術業餘研究 » 2017升的最快的幾個資料庫無責任點評

ItPub寫的文章“2017 年度 DB-Engines 資料庫冠軍得主:PostgreSQL 封王!”, 點選 這裡 進一步閱讀 升的最快的幾個資料庫,我簡單的無責任點評: PG資料庫是很老的資料庫,不過這幾年冉冉升起,因為是學院派的,有很好的學術和智力的支援,一直以來在資料庫的體系結構,程式碼

系統技術業餘研究 » Erlang 17.5引入+hpds命令列控制程序預設字典大小

Erlang 17.5釋出引入控制程序預設字典大小的命令列引數: Erlang/OTP 17.5 has been released Written by Henrik, 01 Apr 2015 Some highlights of the release are: ERTS: Added co

系統技術業餘研究 » inet_dist_listen_options

Erlang 17.5版本引入了inet_dist_{listen,connect}_options,對於結點間的互聯socket可以有更精細的控制,RPC的時候效能可以微調: raimo/inet_tcp_dist-priority-option/OTP-12476: Document ke

系統技術業餘研究 » 老生常談: ulimit問題及其影響

ulimit最初設計是用來限制程序對資源的使用情況的,因為早期的系統系統資源包括記憶體,CPU都是非常有限的,系統要保持公平,就要限制大家的使用,以達到一個相對公平的環境。以下是典型的機器預設的限制情況: $ ulimit -a core file size (blocks,

系統技術業餘研究 » 求賢帖

原創文章,轉載請註明: 轉載自系統技術非業餘研究 本文連結地址: 求賢帖 作為一個優秀的工程師,你其實不缺少才華,你缺少的是神一樣的隊友、充滿挑戰的世界級技術難題,和一個可以施展自己才華的大舞臺。加入阿里核心系統資料庫開發團隊吧,你缺的這裡都有。來吧,戳這裡,給我們見識你的機會:http://b

系統技術業餘研究 » Erlang R16B03釋出,R17已發力

Erlang R16B03釋出了,通常03版本是bug fix版本,進入生產版本,官方的說明如下: OTP R16B03 is a service release with mostly a number of small corrections and user contributions. B