9.虛擬儲存器

• 虛擬儲存器是硬體異常，硬體地址翻譯，主存，磁碟檔案和核心軟體的完美互動。
• 為每個程序提供一個大的，一致的和 私有的地址空間。
• 提供了3個重要能力。
  • 將主存看成磁碟地址空間的快取記憶體。
    • 只保留了活動區域，並根據需要在磁碟和主存間來回傳送資料，高效使用主存。
  • 為每個程序提供一致的地址空間
    • 簡化儲存器管理
  • 保護了每個程序的地址空間不被其他程序破壞。
• 程式設計師為什麼要理解它？
  • 虛擬儲存器是中心的。
    • 遍佈在計算機系統所有層次，硬體異常，彙編器，聯結器，載入器，共享物件，檔案和程序中扮演重要角色。
  • 虛擬儲存器是強大的。
    • 可以建立和銷燬儲存器片(chunk)
    • 將儲存器片對映到磁碟檔案的某個部分。
    • 其他程序共享儲存器。
    • 例子
      • 能讀寫儲存器位置來修改磁碟檔案內容。
      • 載入檔案到儲存器不需要顯式的拷貝。
  • 虛擬儲存器是危險的
    • 引用變數，間接引用指正，呼叫malloc動態分配程式，就會和虛擬儲存器互動。
    • 如果使用不當，將遇到複雜危險的與儲存器有關的錯誤。
    • 例子
      • 一個帶有錯誤指標的程式可以立即崩潰於段錯誤或者保護錯誤。
      • 執行完成，卻不產生正確結果。
• 本章從兩個角度分析。
  • 虛擬儲存器如何工作。
  • 應用程式如何使用和管理虛擬儲存器。

9.1 物理與虛擬定址

• 實體地址(Physical Address,PA)

  :計算機系統的主存被組織為M個連續的位元組大小的單元組成的陣列。每個位元組的地址叫實體地址.

• CPU訪問儲存器的最自然的方式使用實體地址，這種方式稱為物理定址。
  - 早期的PC，數字訊號處理器，嵌入式微控制器以及Cray超級計算機使用物理定址。

• 現代處理器使用的是虛擬定址(virtual addressing)的定址形式。

  
  • CPU通過生成一個虛擬地址(Virtual address,VA)來訪問主存。
    • 將虛擬地址轉換為實體地址叫做地址翻譯(address translation)。
  • 地址翻譯也需要CPU硬體和作業系統之間的緊密結合。
    • CPU晶片上有叫做儲存器管理單元(Memory Management Unit,MMU)
      的專用硬體。
      • 利用儲存在主存中的查詢表來動態翻譯虛擬地址。
      • 查詢表由作業系統管理。

9.2 地址空間

地址空間(address space)是一個非負整數地址的有序集合。

• 如果地址空間中整數是連續的，我們說它是線性地址空間(linear address space)。
  • 為了簡化討論，我們總是假設使用線性地址空間。

• 在一個帶虛擬儲存器的系統中，CPU從一個有N=2^n個地址的地址空間中生成虛擬地址，這個地址空間稱為虛擬地址空間(virtual address space)。

• 一個地址空間大小是由表示最大地址所需要的位數來描述的。
  • 如N=2^n個地址的虛擬地址空間叫做n位地址空間。
  • 現在作業系統支援32位或64位。

• 一個系統還有實體地址空間,它與系統中物理儲存器的M=2^m(假設為2的冪)個位元組相對應。

地址空間的概念很重要，因為它區分了資料物件(位元組)和 它們的屬性(地址)。

• 每個位元組(資料物件)一般有多個 獨立的地址(屬性)。每個地址都選自不同的地址空間。
  • 比如一般來說。
    • 位元組 有一個在虛擬地址空間的虛擬地址。
    • 還有一個在實體地址空間的 實體地址。
    • 兩個地址都能訪問到這個位元組。
  • 類似現實世界的門牌號, 和經緯度。

9.3 虛擬儲存器作為快取的工具

感悟

在講述這一小章之前，必須交代一下我對虛擬儲存器概念的存疑。

原本我以為虛擬儲存器=虛擬記憶體。

以下是虛擬記憶體的定義

虛擬記憶體是計算機系統記憶體管理的一種技術。它使得應用程式認為它擁有連續的可用的記憶體（一個連續完整的地址空間），而實際上，它通常是被分隔成多個物理記憶體碎片，還有部分暫時儲存在外部磁碟儲存器上，在需要時進行資料交換

而在下面的定義我們可以看到CSAPP中認為虛擬儲存器是存放在磁碟上的。

在此，我們姑且當做兩者是不同的東西，以後有更深刻的理解，再思考。

虛擬儲存器(VM)被組織為一個存放在磁碟上的N個連續位元組大小的單元組成的陣列。

• 每個位元組都有一個唯一的虛擬地址，這個虛擬地址作為到陣列的索引。
• 磁碟上陣列的內容被快取到主存中。
  • 同儲存器層次結構其他快取一樣，磁碟上的資料被分割稱塊。
    • 這些塊作為磁碟和主存之間的傳輸單元。
    • 虛擬頁(Virtual Page,VP)就是這個塊
      • 每個虛擬頁大小為P=2^p位元組。
  • 物理儲存器被分割為物理頁,大小也為P位元組
    • 也被稱為頁幀(page frame)
• 任何時候，虛擬頁的集合都被分為3個不相交的子集。
  • 未分配的:VM系統還未分配(或者建立)的頁。未分配的塊沒有任何資料與之相關聯。
    • 不佔用磁碟空間
    • 通過malloc來分配
  • 快取的：當前快取在物理儲存器的已分配頁。
  • 未快取的:沒有快取在物理頁面儲存器中的已分配頁。
  

9.3.1 DRAM快取的組織結構

DRAM表示虛擬儲存器系統的快取，在主存中快取虛擬頁,有兩個特點。

• DRAM快取不命中處罰十分嚴重。
  • 因為磁碟比DRAM慢100000多倍。
• 訪問一位元組開銷
  • :從一個磁碟的一個扇區讀取第一個位元組的時間開銷要比從該扇區中讀連續的位元組慢大約100000倍

DRAM快取的組織結構由這種巨大的不命中開銷驅動。因此有以下特點。
(有些地方不是特別懂，之後看完第六章應該會好點)

• 虛擬頁往往很大。
  • 4KB~2MB
  • 訪問一位元組開銷的原因才要這麼大。
• DRAM快取是全相聯
  • 也就是： 任何虛擬頁都能放在任何物理頁中。
  • 原因在於大的不命中懲罰
• 更精密的替換演算法
  • 替換錯了虛擬頁的懲罰很高。
• DRAM快取總是寫回
  • 因為對磁碟的訪問時間很長
  • 而不用直寫

9.3.2 頁表

判斷命中和替換又多種軟硬體聯合提供。

• 作業系統軟體，MMU中的地址翻譯硬體和頁表(page table)。
  • 頁表是存放在物理儲存器的資料結構。
    • 頁表將虛擬頁對映到物理頁。
    • 地址翻譯硬體將虛擬地址轉換為實體地址都會讀取頁表。
  • 作業系統負責維護頁表的內容，以及磁碟及DRAM之間來回傳送頁。

• 頁表就是一個頁表條目(Page Table Entry,PTE)的陣列.
  • 虛擬地址空間 中每個頁在頁表的固定偏移量處都有一個PTE.
  • 每個PTE由一個有效位和n位地址欄位。
    • 有效位表明虛擬頁是否被快取。
      • 如果有效位存在，那麼地址欄位指向對應的物理儲存器。
      • 如果有效位不存在。
        • 地址欄位要麼為NULL
        • 要麼指向虛擬頁在磁碟所在的位置。

9.3.3 頁命中

• 一個頁命中的過程。
• 一個虛擬地址轉換為實體地址的過程。

9.3.4 缺頁

在虛擬儲存器的習慣說法中，DRAM快取不命中稱為缺頁。

處理過程如下：

• 讀取虛擬地址所指向的PT。
• 讀取PTE有效位，發現未被快取，觸發缺頁異常。
• 呼叫缺頁異常處理程式
  • 選擇犧牲頁。
  • 如果犧牲頁發生了改變，將其拷貝回磁碟(因為是寫回)
  • 需要讀取的頁代替了犧牲頁的位置。
  • 結果：犧牲也不被快取，需要讀取的頁被快取。
• 中斷結束，重新執行最開始的指令。
• 在DRAM中讀取成功。

虛擬儲存器是20世紀60年代發明的，因此即使與SRAM快取使用了不同的術語。

• 塊被稱為頁。
• 磁碟和DRAM之間傳送頁的活動叫做交換(swapping)或者頁面排程(paging)。
• 有不命中發生時，才換入頁面，這種策略叫做按需頁面排程(demand paging)。
  • 現代系統基本都是用這個。

9.3.5 分配頁面

比如某個頁面所指向地址為NULL，將這個地址指向磁碟某處，那麼這就叫分配頁面。

此時虛擬頁從未分配狀態 變為 未快取。

9.3.6 又是區域性性拯救了我們

虛擬儲存器工作的相當好，主要歸功於老朋友區域性性(locality)

儘管從頭到尾的活動頁面數量大於物理儲存器大小。

但是在區域性內，程式往往在一個較小的活動頁面集合工作

• 這個集合叫做工作集(working set)或者叫常駐集(resident set)
  • 初始載入開銷比較大。
• 程式有良好的時間區域性性，虛擬儲存器都工作的相當好。
• 如果程式實在很爛，或者物理空間很小，工作集大於物理儲存器大小。這種狀態叫顛簸(thrashing).
  • 這時，頁面不斷換進換出。效能十分低。

統計缺頁次數

可以利用Unix的getrusage函式檢測缺頁數量。

9.4 虛擬儲存器作為儲存器的管理工具

實際上，作業系統為每個程序提供一個獨立的頁表。

因此，VM簡化了連結和載入,程式碼和資料共享,以及應用程式的儲存器分配。

• 簡化連結
  • 獨立的空間地址意味著每個程序的儲存器映像使用相同的格式。
    • 文字節總是從0x08048000(32位)處或0x400000(64位)處開始。
    • 然後是資料，bss節,棧。
  • 一致性極大簡化了連結器的設計和實現。

• 簡化載入

  • 載入器可以從不實際拷貝任何資料從磁碟到儲存器。

  • 基本都是虛擬儲存系統完成。

    將一組連續的虛擬頁對映到任意一個檔案中的任意位置的表示法稱作儲存器對映。Unix提供一個稱為mmap的系統呼叫，允許程式自己做儲存器對映。在9.8詳細講解。

• 簡化共享

  • 獨立地址空間為作業系統提供了一個管理使用者程序和作業系統自身之間的一致共享機制.
  • 例子
    • 操作相同的作業系統核心程式碼
    • 相關推薦

      深入理解計算機系統--第九章虛擬儲存器

      9.虛擬儲存器 為了更加有效地管理儲存器且少出錯，現代系統提供了對主存的抽象概念，叫做虛擬儲存器(VM）。 虛擬儲存器是硬體異常，硬體地址翻譯，主存，磁碟檔案和核心軟體的完美互動。為每個程序提供一個大的，一致的和 私有的地址空間。提供了3個重要能力。 將主存看成磁碟地址空間的快取記憶

      深入理解計算機系統----第九章虛擬記憶體

      原文連結 https://www.jianshu.com/p/e1b82b230917 虛擬儲存器又叫做虛擬記憶體，我們現在的作業系統普遍都支援了虛擬記憶體，這樣做是因為我們同時執行著太多的程式了，就目前我電腦的狀態來看，我既要開啟瀏覽器，又要聽歌，可能同時還登陸的有QQ，如果不使用虛擬記

      深入理解計算機系統 第九章 虛擬記憶體

        為了更加有效地管理記憶體並且少出錯，現代系統提供了一種對主存的抽象概念，叫做虛擬記憶體（VM）。   虛擬記憶體提供了三個重要的能力： （1）它將主存看成是一個儲存在磁碟上的地址空間的告訴快取，在主存中只儲存活動區域，並根據需要在磁碟和主存之間來回傳送資料，通過這種方式，它高效

      深入理解計算機系統 第三章大略和第五章大略

      $0 一個 編譯 存儲器 系統 32位 做了 ++i 擴展 這2章總結的很少，主要是覺得沒那麽重要。 1.2個操作數的指令，第二個操作數通常是目的操作數:movb a b，move a to b,而add a b,b+=a，指令分為指令類，如mov類：movb,movw,m

      深入理解計算機系統 第三章 程式的機器級表示 part1

        如題所示，這一章講解了程式在機器中是怎樣表示的，主要講組合語言與機器語言。   學習什麼，為什麼學，以及學了之後有什麼用 我們不用學習如何建立機器級的程式碼，但是我們要能夠閱讀和理解機器級的程式碼。 雖然現代的優化編譯器能夠很有效的將高階程式碼翻譯成機器級的程式碼，但是，為了

      深入理解計算機系統 第三章 程式的機器級表示 part2

        這周由於時間和精力有限，只讀一小節：3.4.4  壓入和彈出棧資料   棧是一種特殊的資料結構，遵循“後進先出”的原則，可以用陣列實現，總是從陣列的一端插入和刪除元素，這一端被稱為棧頂。   棧有兩個常用指令： push：把資料壓入棧中 pop：刪除資

      深入理解計算機系統 第三章 程式的機器級表示 part3

        這周看了劉老師提供的相關視訊，以及書中對應的章節“3.7 過程”   這一節分為執行時棧、轉移控制、資料傳送、棧上的區域性儲存、暫存器中的區域性儲存空間和遞迴過程這 6 個小節   其中前 3 小節看懂了一部分內容，後面兩個還沒來得及看，下週看完補上  

      深入理解計算機系統 第六章 儲存器層次結構

        為什麼要學習儲存器的層次結構？ 如果我們理解了系統是如何將資料在儲存器層次結構中上上下下移動的，那麼我們就可以編寫自己的應用程式，使得它們的資料項儲存在層次結構較高的地方，在那裡 CPU 能更快地訪問到它們。   區域性性原理 計算機程式傾向於引用臨近於其他最近引用過的資料項

      深入理解計算機系統——第六章

      有一個 圖片 組成 技術分享 data- 計算機 系統 大量 src 存儲器 磁盤 磁盤可以存儲大量的數據，但是速度慢 磁盤由盤片組成，每個盤片有兩面，上面覆蓋著磁性記錄材料，盤片中央有一個可以旋轉的主軸 深入理解計算機系統——第六章

      深入理解計算機系統--第七章課後作業

      對於問題一，輸出結果如下圖所示：   兩個都是弱定義值，所以連結器隨機選擇一個，而這時在c2.c中，g的值為37（強定義），故c1.c的g為37，呼叫函式f，g變為38 當執行第二條語句時，結果如圖：   多次定義變數g，程式在連結的時候報錯！！！ 對

      深入理解計算機系統----第八章異常控制流

      原文連結 https://www.jianshu.com/p/c8a6c4154219 目  錄 每次從一條指令過渡到另外一條指令的過程稱為控制轉移，這樣的一個控制轉移序列叫做控制流，如果每條指令都是相鄰的，這樣的過渡就是平滑序列。如果一條指令與另外一條指令不相鄰，這樣突發性

      深入理解計算機系統----第七章連結

      原文連結 https://www.jianshu.com/p/7f27c0316355 目  錄 連結是將各種不同檔案的程式碼和資料部分收集（符號解析和重定位）起來並組合成一個單一檔案的過程。本章節我們將要學習連結器工作的詳細原理。通過對這一方面知識的學習，將有助於理解一些危

      深入理解計算機系統----第六章儲存器層次結構

        原文部落格地址：https://www.jianshu.com/p/88c889e4fef3 目 錄 在本章中，我們會先了解儲存技術（SRAM\DRAM\ROM\旋轉固態硬碟），描述這些儲存器是如何被組織成層次結構的。接下來會談到什麼是擁有良好區域性性的程式以及編寫這

      深入理解計算機系統----第五章優化程式效能

      轉載地址https://www.jianshu.com/p/4586dc676807 編寫執行的快的程式有三個因素：①選擇合適的演算法和資料結構；②理解編譯器的能力，使用有效的方式讓編譯器能進行優化；③對於運算量特別大的程式，可能還需要進行任務分解。在這一過程中可能還需要對程式的可讀性和執

      深入理解計算機系統----第四章處理器體系結構

      https://www.jianshu.com/p/15210eb3870d?open_source=weibo_search 原文地址 目錄 學習事物是怎樣工作的有其內在價值：處理器是如何工作的對於我們普通人來說一直是個祕密，我們將從零開始構建一個流水線處理器，為了實現這一處理器的軟

      深入理解計算機系統 第十章 系統級I/O

      關於 內核 檢索 執行 循環 讀取 當前 讀寫 原因 很多高級語言都提供了執行 I/O 的較高級別的函數。為什麽我們還要學習 Unix I/O？ 原因：1、由於 I/O 和其他系統概念之間有循環依賴關系，故了解 Unix I/O 將幫助我們理解其他的系統概念 2、有些特

      讀書筆記：深入理解計算機系統 第七章

      int printf(const char * format,...); int global_init_var = 84; int global_uninit_var; void fun1(int i) { printf("%d\n",i); } int main

      深入理解計算機系統 ——第三章 程式的機器級表示

      ### 這一章主要是介紹高階語言，例如C語言編寫的程式，經過編譯後轉換為彙編程式。以往在程式設計師對機器進行操作主要都是使用匯編語言。筆者在大學做微控制器開發的時候，老師制訂的實驗，明確要求使用匯編語言。 組合語言的使用和掌握能夠很好地幫助程式設

      一個絕對注意不到的小細節（深入理解計算機系統第五章5.5及5.6）

         下面的計算計算多項式的兩種不同方法，形如 a0+a1x+a2x^2········     第二個函式是根據horner法，通過反覆提出冪，來減少乘法的次數，按照道理說，既然polyh函式比poly函式減少了乘法的次數，那應該比poly快才對，可是事實正好相反，poly

      <深入理解計算機系統(第三版)》第一章

      第一章 計算機系統漫遊 計算機系統是由硬體和系統軟體組成的,它們共同工作來執行應用程式. 1.1 資訊就是位+上下文 源程式實際上就是由一個值0和1組成的位(bit)序列,8個位被組織成一組,稱為位元組.每個位元組表示程式中某個文字字元. 大部分現代系統都是有ASCII標準表示文字字元,只由ASCII字