JDK8中的HashMap實現原理及原始碼分析
本篇所述原始碼基於JDK1.8.0_121
在寫上一篇線性表的文章的時候，筆者看的是Android原始碼中support24中的Java程式碼，當時發現這個ArrayList和LinkedList的原始碼和Java官方的沒有什麼區別，然而在閱讀HashMap原始碼的時候，卻發現Android中的Java與官方版的出入略大，遂不得不轉而用Eclipse匯入jdk原始碼閱讀，這裡不得不吐槽一句，用慣了IDEA的快捷鍵，Eclispe還真是用不習慣~~好了，接下來我們言歸正傳：
一.什麼是Hash?什麼是HashMap？
Hash音譯為“雜湊”，直譯為“雜湊”，是一種資訊摘要演算法，但他不是加密。雜湊函式（或雜湊演算法，又稱雜湊函式，英語：Hash Function）
我們平時常用的MD5，SSL等都屬於Hash演算法，通過Key進行Hash的計算，就可以獲取Key對應的HashCode。
上一篇有關線性表的文章線性表及ArrayList/LinkedList原始碼分析總結中，我們講了ArrayList和LinkedList的優缺點——陣列的特點是：定址容易，插入和刪除困難；而連結串列的特點是：定址困難，插入和刪除容易。
如果我們綜合兩者的特點，就可以得到本篇我們要講的內容——HashMap(直譯散列表，音譯雜湊表)。我們知道，java.util中的clloection集合類中， 最為常用的兩種是List和Map拉鍊法——即一系列連結串列為陣列元素組成的陣列。如圖：
從上圖我們可以看到，HashMap由連結串列+陣列組成，他的底層結構是一個數組，而陣列的元素是一個單向連結串列。圖中是一個長度為16位的陣列，每個陣列儲存的元素代表的是每一個連結串列的頭結點。
上面我們說了有關Hash演算法的事情，通過Key進行Hash的計算，就可以獲取Key對應的HashCode。好的Hash演算法可以計算出幾乎出獨一無二的HashCode，如果出現了重複的hashCode，就稱作碰撞
碰撞事件，那麼意味這陣列的一個位置要插入兩個或者多個元素，這個時候陣列上面掛的連結串列起作用了，連結串列會將陣列某個節點上多出的元素按照尾插法(jdk1.7及以前為頭差法)的方式新增。
二.HashMap的內部實現機制
1.HashMap基本元素
public class HashMap<K,V> extends AbstractMap<K,V>
implements Map<K,V>, Cloneable, Serializable {
......
//預設初始容量為16，這裡這個陣列的容量必須為2的n次冪。
static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // aka 16
//最大容量為2的30次方
static final int MAXIMUM_CAPACITY = 1 << 30;
//預設載入因子
static final float DEFAULT_LOAD_FACTOR = 0.75f;
//以Node<K,V>為元素的陣列，也就是上圖HashMap的縱向的長鏈陣列，起長度必須為2的n次冪
transient Node<K,V>[] table;
//已經儲存的Node<key,value>的數量，包括陣列中的和連結串列中的
transient int size;
//擴容的臨界值，或者所能容納的key-value對的極限。當size>threshold的時候就會擴容
int threshold;
//載入因子
final float loadFactor;
......
-
①DEFAULT_INITIAL_CAPACITY&MAXIMUM_CAPACITY 首先當我們通過無參的建構函式new一個hashMap的時候，系統就會幫我們指定你HashMap的預設大小為DEFAULT_INITIAL_CAPACITY也就是24，當然我們可以刻自己制定初始容量的大小，只不過要注意必須是2n且小於MAXIMUM_CAPACITY(230)。
-
②DEFAULT_LOAD_FACTOR&loadFactor LOAD_FACTOR(負載因子)和上面的CAPACITY(容量)的關係，簡單來說,
Capacity就是陣列的長度/大小，loadFactor是這個陣列填滿程度的最大比比例。同樣的，我們可以根據有參的HashMap建構函式來指定初始負載容量的大小，如果不指定，預設的負載因子為0.75。 -
③size&threshold size表示當前HashMap中已經儲存的Node<key,value>的數量，包括
陣列和連結串列中的的Node<key,value>。threshold表示擴容的臨界值，如果size大於這個值，則必需呼叫resize()方法進行擴容，具體的擴容過程我們之後會講。 這裡先說一下threshold值是怎麼得到的，在jdk1.7及以前，threshold = length * Load factor，其中length為陣列的長度，也就是說陣列的長度成負載因子的數量。這裡需要說明一點，預設負載因子0.75是是對空間和時間(縱向橫向)效率的一個平衡選擇，建議大家不要修改。 而在jdk1.8中，這個值的計算演算法得到了進一步改進，成了這個：
/**
* Returns a power of two size for the given target capacity.
*/
static final int tableSizeFor(int cap) {
int n = cap - 1;
n |= n >>> 1;
n |= n >>> 2;
n |= n >>> 4;
n |= n >>> 8;
n |= n >>> 16;
return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}
cap是我們初始傳遞的Capacity值(或者預設的24)，看註釋我們可以知道，這麼一系列位移操作演算法最後是為了得到一個power of two size的值。為什麼jdk中一再要強調這個2n這個值呢？這個等會我們再分析。
- ④Node<K,V>[] table
最後來重點說說這個
Node<K,V>[] table，他是整個HashMap的組成子元素，是構成HashMap的一磚一瓦：
static class Node<K,V> implements Map.Entry<K,V> {
final int hash; //每個儲存元素key的雜湊值
final K key; //key
V value; //value
Node<K,V> next; //連結串列下一個node
Node(int hash, K key, V value, Node<K,V> next) {
this.hash = hash;
......
}
public final K getKey() { return key; }
public final V getValue() { return value; }
public final String toString() { return key + "=" + value; }
public final int hashCode() { ...... }
public final V setValue(V newValue) { ...... }
public final boolean equals(Object o) { ....... }
}
可以看到，這個Node<K,V>[]是HashMap的一個內部類，他既是HashMap底層陣列的組成元素，又是每個單向連結串列的組成元素。它其中包含了陣列元素所需要的key與value，以及連結串列所需要的指向下一個節點的引用域next。當然這個hash值是系統在建立Node時通過一定的演算法計算出來的一個int值，之後我們會講。
2.HashMap的建構函式
jdk1.8中，HashMap共有四種建構函式:
public HashMap(int initialCapacity, float loadFactor) {
if (initialCapacity < 0)
throw new IllegalArgumentException("Illegal initial capacity: " +
initialCapacity);
if (initialCapacity > MAXIMUM_CAPACITY)
initialCapacity = MAXIMUM_CAPACITY;
if (loadFactor <= 0 || Float.isNaN(loadFactor))
throw new IllegalArgumentException("Illegal load factor: " +
loadFactor);
this.loadFactor = loadFactor;
this.threshold = tableSizeFor(initialCapacity);
}
public HashMap(int initialCapacity) {
this(initialCapacity, DEFAULT_LOAD_FACTOR);
}
public HashMap() {
this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}
public HashMap(Map<? extends K, ? extends V> m) {
this.loadFactor = DEFAULT_LOAD_FACTOR;
putMapEntries(m, false);
}
3.HashMap的put新增功能實現
首先看原始碼:
public V put(K key, V value) {
return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
boolean evict) {
Node<K,V>[] tab; Node<K,V> p; int n, i; //tab[]為陣列，p是每個桶
① if ((tab = table) == null || (n = tab.length) == 0) //第一步，table為空，則呼叫resize()函式建立一個
n = (tab = resize()).length;
② if ((p = tab[i = (n - 1) & hash]) == null) //第二步，計算元素所要儲存的位置index,並對null做出處理
//注意這裡，如果tab[i]==null，說明這個位置上沒有元素，這個時候就建立一個新的Node元素
tab[i] = newNode(hash, key, value, null);
else { //else,否則，也就是，這個要新增的位置上面已經有元素了，也就是發生了碰撞。這個時候就要具體情況分
//類討論：1.key值相同，直接覆蓋 2.連結串列已經超過了8位，變成了紅黑樹 3.連結串列是正常的連結串列
Node<K,V> e; K k;
if (p.hash == hash && //如果節點key存在，則覆蓋原來位置的key
((k = p.key) == key || (key != null && key.equals(k))))
e = p;
③ else if (p instanceof TreeNode) //第三步，判斷該鏈是否為紅黑樹
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
else {
for (int binCount = 0; ; ++binCount) {
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null);
//連結串列長度大於8轉換為紅黑樹
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
}
//如果節點key存在，則覆蓋原來位置的key，同時將原來位置的元素，沿著連結串列向後移一位
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
}
}
if (e != null) { // existing mapping for key
V oldValue = e.value;
if (!onlyIfAbsent || oldValue == null)
e.value = value;
afterNodeAccess(e);
return oldValue;
}
}
++modCount;
if (++size > threshold)
④ resize(); //第四步：超過最大容量限制，擴容
afterNodeInsertion(evict);
return null;
}
上面程式碼中加了一些註釋，希望讀者仔細分析這段程式碼中的邏輯。可以看到，我們將put一個元素的過程分為四步，下面我們分步驟講解：
第一步：table為空，則呼叫resize()函式建立一個
這裡的table就是我們在第一大點“HashMap基本元素”中說的Node<K,V>[] table;也就是HashMap的基本子節點。關於這個元素，這裡還需要多說一點，在他宣告的地方有一段註釋:
/**
* The table, initialized on first use, and resized as
* necessary. When allocated, length is always a power of two.
* (We also tolerate length zero in some operations to allow
* bootstrapping mechanics that are currently not needed.)
*/
transient Node<K,V>[] table;
其中明確提到:這個table陣列在第一次使用時需要初始化。在JDK1.7中原始碼的建構函式中，我們發現：
public HashMap(int initialCapacity, float loadFactor) {
......
this.loadFactor = loadFactor;
threshold = (int)(capacity * loadFactor);
table = new Entry[capacity]; //注意這裡初始化了
init();
}
也就是說，在jdk1.7中，當HashMap建立的時候，table這個陣列確實會初始化；但是到了jdk1.8中，我們觀察上面四個建構函式，除了第四個建構函式呼叫了resize()外，其他三個常用的建構函式都沒有與table初始化相關的跡象，而真正table初始化的地方是在我們上面講的putVal()方法中，即首次向HashMap新增元素時，呼叫resize()建立並初始化了一個table陣列。
這裡筆者的理解是，類似於“懶載入”，用的時候再初始化，這樣有利於節省資源~~同時，估計1.7和1.8的程式碼不是一個工程師寫的吧，程式碼優化之後註釋忘了改…關於resize()方法，我們之後再講。
第二步：計算元素所要儲存的位置index,並對null做出處理
儲存位置即研究這個這個新新增的元素是通過何種規則新增到什麼位置的，我們注意到這句原始碼:p = tab[i = (n - 1) & hash]可以看到，index = (n - 1) & hash。n是新建立的table陣列的長度：(tab = resize()).length;，那麼hash是什麼呢？注意到這兩段程式碼:
public V put(K key, V value) {
return putVal(hash(key), key, value, false, true);
}
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,boolean evict) {
......
可以看待，hash是由hash(key)這個方法計算所得：
static final int hash(Object key) {
int h;
return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}
這裡可以看到，首先將得到key對應的雜湊值：h = key.hashCode()，然後通過hashCode()的高16位異或低16位實現的：(h = k.hashCode()) ^ (h >>> 16)我們分佈來講解這個index產生的步驟:
(1).取key的hashcode值：
- ①Object類的hashCode
返回物件的經過
處理後的記憶體地址，由於每個物件的記憶體地址都不一樣，所以雜湊碼也不一樣。這個是native方法，取決於JVM的內部設計，一般是某種C地址的偏移。 - ②String類的hashCode
根據String類包含的字串的內容，根據一種特殊演算法返回雜湊碼，
只要字串的內容相同，返回的雜湊碼也相同。 - ③Integer等包裝類
返回的雜湊碼就是
Integer物件裡所包含的那個整數的數值，例如Integer i1=new Integer(100)，i1.hashCode的值就是100 。由此可見，2個一樣大小的Integer物件，返回的雜湊碼也一樣。 - ④int，char這樣的基礎類
它們不需要hashCode，如果需要儲存時，將進行
自動裝箱操作，計算方法包裝類。
(2).hashCode()的高16位異或低16位
在JDK1.8的實現中，優化了高位運算的演算法，通過hashCode()的高16位異或低16位實現的：(h = k.hashCode()) ^ (h >>> 16)，主要是從速度、功效、質量來考慮的，這麼做可以在陣列table的length比較小的時候，也能保證考慮到高低Bit都參與到Hash的計算中，同時不會有太大的開銷。
(3). (n-1) & hash; 取模運算
這個n我們說過是table的長度，那麼n-1就是table陣列元素應有的下表。這個方法非常巧妙，它通過hash & (table.length -1)來得到該物件的儲存位，而HashMap底層陣列的長度總是2的n次方，這是HashMap在速度上的優化。當length總是2的n次方時，hash&(length-1) 運算等價於對length取模，也就是hash % length，但是&比%具有更高的效率。
關於為什麼要先高16位異或低16位再取模運算，我們這裡先看第三步：
我們知道，n代表的是table的長度length，之前一再強調，表table的長度需要取2的整數次冪，就是為了這裡等價這裡進行取模運算時的方便——取模運算轉化成位運算公式:a%(2^n) 等價於 a&(2^n-1),而&操作比%操作具有更高的效率。
當length=2n時，(length - 1)正好相當於一個"低位掩碼","與"操作的結果就是雜湊值的高位全部歸零，只保留低位，用來做陣列下標訪問:
可以看到，當我們的length為16的時候，雜湊碼(字串“abcabcabcabcabc”的key對應的雜湊碼)對(16-1)與操作，對於多個key生成的hashCode，只要雜湊碼的後4位為0，不論不論高位怎麼變化，最終的結果均為0。也就是說，如果支取後四位(低位)的話，這個時候產生"碰撞"的機率就非常大(當然&運算中產生碰撞的原因很多，這裡只是舉個例子)。為了解決低位與操作碰撞的問題，於是便有了第二步中高16位異或低16位的“擾動函式”。
右移16位，自己的高半區和低半區異或，就是為了混合原始雜湊碼的高位和低位，以此來加大低位隨機性。
可以看到:
擾動函式優化前：1954974080 % 16 = 1954974080 & (16 - 1) = 0
擾動函式優化後：1955003654 % 16 = 1955003654 & (16 - 1) = 6
很顯然，減少了碰撞的機率。
第三步，判斷該鏈是否為紅黑樹並新增元素
else if (p instanceof TreeNode)
e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value); //是紅黑樹
else {
for (int binCount = 0; ; ++binCount) { //不是紅黑樹而是連結串列
if ((e = p.next) == null) {
p.next = newNode(hash, key, value, null); //
if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
treeifyBin(tab, hash);
break;
}
if (e.hash == hash &&
((k = e.key) == key || (key != null && key.equals(k))))
break;
p = e;
}
}
關於是紅黑樹的部分，不在我們本節的討論範圍之內，我們主要看else裡邊的內容:
for (int binCount = 0; ; ++binCount) {表示迴圈遍歷連結串列，這個for迴圈當中實際上經歷了以下幾個步驟：
- ①
e = p.next以及for語句之外後面的p = e;實際上是在向後迴圈遍歷連結串列。 開始的時候P為每個桶的頭元素，然後將P的引用域(本來指向的是下一個元素)指向空節點e，這個時候實際上就相當於將p的下一個元素賦值給了e,即e已經變成了p的下一個元素。 - ②此時我們把這個複製的e單獨提出來，進行了兩個判斷：
第一個if：
if ((e = p.next) == null)如果e也就是p.next == null,那麼說明當前的這個P已經是連結串列最後一個元素了。這個時候採取尾插法新增一個新的元素:p.next = newNode(hash, key, value, null);,即直接將p的引用域指向這個新新增的元素。如果新增新元素之後發現連結串列的長度超過了TREEIFY_THRESHOLD - 1也就是超過了8，那麼呼叫treeifyBin(tab, hash);把這個連結串列轉換成紅黑樹接著玩。 第二個if:if (e.hash == hash &&((k = e.key) == key || (key != null && key.equals(k))))如果發現key值重複了，也就是要插入的key已經存在，那麼直接break，結束遍歷(不用再費勁去插入了)。 - ③然後又將e賦給p，這個時候的p已經向後移動了一位。重複上面的過程，直到迴圈完整個連結串列，或者break出來。 整個不是紅黑樹的for迴圈(或者else)中就做了這三件事。
第四步：超過最大容量限制，擴容
if (++size > threshold)
resize();
afterNodeInsertion(evict);
具體的擴容操作，我們接下來具體再講
4.HashMap擴容機制的實現
首先上原始碼，我們在下面的原始碼中會加上詳細的註釋，希望讀者們一起跟著走一遍:
final Node<K,V>[] resize() {
Node<K,V>[] oldTab = table; //建立一個oldTab陣列用於儲存之前的陣列
int oldCap = (oldTab == null) ? 0 : oldTab.length; //獲取原來陣列的長度
int oldThr = threshold; //原來陣列擴容的臨界值
int newCap, newThr = 0;
if (oldCap > 0) {
if (oldCap >= MAXIMUM_CAPACITY) { //如果原來的陣列長度大於最大值(2^30)
threshold = Integer.MAX_VALUE; //擴容臨界值提高到正無窮
return oldTab; //返回原來的陣列，也就是系統已經管不了了，隨便你怎麼玩吧
}
//else if((新陣列newCap)長度乘2) < 最大值(2^30) && (原來的陣列長度)>= 初始長度(2^4))
//這個else if 中實際上就是咋判斷新陣列(此時剛建立還為空)和老陣列的長度合法性，同時交代了，
//我們擴容是以2^1為單位擴容的。下面的newThr(新陣列的擴容臨界值)一樣，在原有臨界值的基礎上擴2^1
else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
oldCap >= DEFAULT_INITIAL_CAPACITY)
newThr = oldThr << 1; // double threshold
}
else if (oldThr > 0)
newCap = oldThr; //新陣列的初始容量設定為老陣列擴容的臨界值
else { // 否則 oldThr == 0,零初始閾值表示使用預設值
newCap = DEFAULT_INITIAL_CAPACITY; //新陣列初始容量設定為預設值
newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY); //計算預設容量下的閾值
}
if (newThr == 0) { //如果newThr == 0，說明為上面 else if (oldThr > 0)
//的情況(其他兩種情況都對newThr的值做了改變),此時newCap = oldThr;
float ft = (float)newCap * loadFactor; //ft為臨時變數，用於判斷閾值的合法性
newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
(int)ft : Integer.MAX_VALUE); //計算新的閾值
}
threshold = newThr; //改變threshold值為新的閾值
@SuppressWarnings({"rawtypes","unchecked"})
Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
table = newTab; //改變table全域性變數為，擴容後的newTable
if (oldTab != null) {
for (int j = 0; j < oldCap; ++j) { //遍歷陣列，將老陣列(或者原來的桶)遷移到新的陣列(新的桶)中
Node<K,V> e;
if ((e = oldTab[j]) != null) { //新建一個Node<K,V>類物件，用它來遍歷整個陣列
oldTab[j] = null;
if (e.next == null)
//將e也就是oldTab[j]放入newTab中e.hash & (newCap - 1)的位置，
newTab[e.hash & (newCap - 1)] = e; //這個我們之前講過，是一個取模操作
else if (e instanceof TreeNode) //如果e已經是一個紅黑樹的元素，這個我們不展開講
((TreeNode<K,V>)e).split(this, newTab, j, oldCap);
else { // 連結串列重排，這一段是最難理解的，也是ldk1.8做的一系列優化，我們在下面詳細講解
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
Node<K,V> next;
do {
next = e.next;
if ((e.hash & oldCap) == 0) {
if (loTail == null)
loHead = e;
else
loTail.next = e;
loTail = e;
}
else {
if (hiTail == null)
hiHead = e;
else
hiTail.next = e;
hiTail = e;
}
} while ((e = next) != null);
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
}
}
}
}
return newTab;
}
上面這段程式碼中，前面一部分我們做了詳細的註釋，從下面的for()迴圈開始，我們需要單獨拉出來講一下，因為這一段是重點的陣列遷移，也是比較難以理解的：
Node<K,V> loHead = null, loTail = null;
Node<K,V> hiHead = null, hiTail = null;
首先命名了兩組Node<K,V>物件，loHead = null, loTail = null;與hiHead = null, hiTail = null;，這兩組物件是為了針對(e.hash & oldCap) == 0是否成立這兩種情況，而作出不同的處理；結合後面的：
if (loTail != null) {
loTail.next = null;
newTab[j] = loHead;
}
if (hiTail != null) {
hiTail.next = null;
newTab[j + oldCap] = hiHead;
}
可以知道，如果(e.hash & oldCap) == 0，則 newTab[j] = loHead = e = oldTab[j]，即索引位置沒變。反之 (e.hash & oldCap) != 0, newTab[j + oldCap] = hiHead = e = oldTab[j],也就是說，此時把原陣列[j]位置上的桶移到了新陣列[j+原陣列長度]的位置上了。
這是個啥意思呢?我們借用美團點評技術團隊Java 8系列之重新認識HashMap一文中的部分解釋(這篇文章講的確實很好，網上很多講解1.8中HashMap的部落格都是抄的這篇):
我們之前一直說的一個移位運算就是—— a % (2^n) 等價於 a & (2^n - 1)，也即是位運算與取模運算的轉化，且位運算比取模運算具有更高的效率，這也是為什麼HashMap中陣列長度要求為2^n的原因。我們複習一下，HanshMap中元素存入陣列的下表運算為**index = hash & (n - 1) **，其中n為陣列長度為2的整數次冪。
在上面的圖中，n表示一個長度為16的陣列，n-1就是15，換算成二進位制位1111。這個時候有兩種不同的雜湊碼來跟他進行與操作(對應位置都為1結果為1，否則為0)，這兩種雜湊碼的低四位都是相同的，最大的不同是第五位，key1為0，key2為1；
這個時候我們進行擴容操作，n由16變為32，n-1=32,換算成二進位制位11111，這個時候再和key1,key2進行與操作，我們發現，由於第5位的差異，得到了兩種不同的結果：
可以看到，得出的結果恰好符合上面我們將的兩種情況。這也就是1.8中擴容演算法做出的改進，至於為什麼這麼搞？借用剛那篇文章中的一句話——由於(hashCode中)新增的1bit是0還是1可以認為是隨機的，因此resize的過程，均勻的把之前的衝突的節點分散到新的bucket了。
這個時候有些同學就有問題了，剛剛說了半天hash & (n - 1)，原始碼中明明是if ((e.hash & oldCap) == 0) {，並沒有減1啊~~我們可以看看如果不減1的話，16就是10000，和key1(第5位為0)相與結果為0，而和key2(第5位上面為1)就成了16了(！=0)，也符合上面兩種情況。擴容之後同理。