【原創】linux spinlock/rwlock/seqlock原理剖析（基於ARM64）
阿新 • • 發佈：2020-04-04
# 背景
- `Read the fucking source code!` --By 魯迅
- `A picture is worth a thousand words.` --By 高爾基
說明：
1. Kernel版本：4.14
2. ARM64處理器，Contex-A53，雙核
3. 使用工具：Source Insight 3.5， Visio
# 1. 概述
吹起併發機制研究的進攻號角了！
作為第一篇文章，應該提綱挈領的介紹下併發。
什麼是併發，併發就是：你有兩個兒子，同時搶一個玩具玩，你一巴掌打在你大兒子手上，小兒子拿到了玩具。
併發是指多個執行流訪問同一個資源，併發引起競態。
來張圖吧：
圖中每一種顏色代表一種競態情況，主要歸結為三類：
1. 程序與程序之間：單核上的搶佔，多核上的SMP；
2. 程序與中斷之間：中斷又包含了上半部與下半部，中斷總是能打斷程序的執行流；
3. 中斷與中斷之間：外設的中斷可以路由到不同的CPU上，它們之間也可能帶來競態；
目前核心中提供了很多機制來處理併發問題，`spinlock`就是其中一種。
`spinlock`，就是大家熟知的自旋鎖，它的特點是自旋鎖保護的區域不允許睡眠，可以用在中斷上下文中。自旋鎖獲取不到時，CPU會忙等待，並迴圈測試等待條件。自旋鎖一般用於保護很短的臨界區。
下文將進一步揭開神祕的面紗。
# 2. spinlock原理分析
## 2.1 `spin_lock/spin_unlock`
先看一下函式呼叫流程：
- `spin_lock`操作中，關閉了搶佔，也就是其他程序無法再來搶佔當前程序了；
- `spin_lock`函式中，關鍵邏輯需要依賴於體系結構的實現，也就是`arch_spin_lock`函式；
- `spin_unlock`函式中，關鍵邏輯需要依賴於體系結構的實現，也就是`arch_spin_unlock`函式；
直接看`ARM64`中這個`arch_spin_lock/arch_spin_unlock`函式的實現吧：
```c
static inline void arch_spin_lock(arch_spinlock_t *lock)
{
unsigned int tmp;
arch_spinlock_t lockval, newval;
asm volatile(
/* Atomically increment the next ticket. */
ARM64_LSE_ATOMIC_INSN(
/* LL/SC */
" prfm pstl1strm, %3\n"
"1: ldaxr %w0, %3\n"
" add %w1, %w0, %w5\n"
" stxr %w2, %w1, %3\n"
" cbnz %w2, 1b\n",
/* LSE atomics */
" mov %w2, %w5\n"
" ldadda %w2, %w0, %3\n"
__nops(3)
)
/* Did we get the lock? */
" eor %w1, %w0, %w0, ror #16\n"
" cbz %w1, 3f\n"
/*
* No: spin on the owner. Send a local event to avoid missing an
* unlock before the exclusive load.
*/
" sevl\n"
"2: wfe\n"
" ldaxrh %w2, %4\n"
" eor %w1, %w2, %w0, lsr #16\n"
" cbnz %w1, 2b\n"
/* We got the lock. Critical section starts here. */
"3:"
: "=&r" (lockval), "=&r" (newval), "=&r" (tmp), "+Q" (*lock)
: "Q" (lock->owner), "I" (1 << TICKET_SHIFT)
: "memory");
}
static inline void arch_spin_unlock(arch_spinlock_t *lock)
{
unsigned long tmp;
asm volatile(ARM64_LSE_ATOMIC_INSN(
/* LL/SC */
" ldrh %w1, %0\n"
" add %w1, %w1, #1\n"
" stlrh %w1, %0",
/* LSE atomics */
" mov %w1, #1\n"
" staddlh %w1, %0\n"
__nops(1))
: "=Q" (lock->owner), "=&r" (tmp)
:
: "memory");
}
```
> `spinlock`的核心思想是基於`tickets`的機制：
> 1. 每個鎖的資料結構`arch_spinlock_t`中維護兩個欄位：`next`和`owner`，只有當`next`和`owner`相等時才能獲取鎖；
> 2. 每個程序在獲取鎖的時候，`next`值會增加，當程序在釋放鎖的時候`owner`值會增加；
> 3. 如果有多個程序在爭搶鎖的時候，看起來就像是一個排隊系統，`FIFO ticket spinlock`；
上邊的程式碼中，核心邏輯在於`asm volatile()`內聯彙編中，有點迷糊嗎？把核心邏輯翻譯成C語言，類似於下邊：
- `asm volatile`內聯彙編中，有很多獨佔的操作指令，只有基於指令的獨佔操作，才能保證軟體上的互斥，簡單介紹如下：
1. `ldaxr`：`Load-Acquire Exclusive Register derives an address from a base register value, loads a 32-bit word or 64-bit doubleword from memory, and writes it to a register`，從記憶體地址中讀取值到暫存器中，獨佔訪問；
2. `stxr`：`Store Exclusive Register stores a 32-bit or a 64-bit doubleword from a register to memory if the PE has exclusive access to the memory address`，將暫存器中的值寫入到記憶體中，並需要返回是否獨佔訪問成功；
3. `eor`：`Bitwise Exclusive OR`，執行獨佔的按位或操作；
4. `ldadda`：`Atomic add on word or doubleword in memory atomically loads a 32-bit word or 64-bit doubleword from memory, adds the value held in a register to it, and stores the result back to memory`，原子的將記憶體中的資料進行加值處理，並將結果寫回到記憶體中；
- 此外，還需要提醒一點的是，在`arch_spin_lock`中，當自旋等待時，會執行`WFE`指令，這條指令會讓CPU處於低功耗的狀態，其他CPU可以通過`SEV`指令來喚醒當前CPU。
如果說了這麼多，你還是沒有明白，那就再來一張圖吧：
## 2.2 `spin_lock_irq/spin_lock_bh`
自旋鎖還有另外兩種形式，那就是在持有鎖的時候，不僅僅關掉搶佔，還會把本地的中斷關掉，或者把下半部關掉（本質上是把軟中斷關掉）。
這種鎖用來保護臨界資源既會被程序訪問，也會被中斷訪問的情況。
看一下呼叫流程圖：
- 可以看到這兩個函式中，實際鎖的機制實現跟`spin_lock`是一樣的；
- 額外提一句，`spin_lock_irq`還有一種變種形式`spin_lock_irqsave`，該函式會將當前處理器的硬體中斷狀態儲存下來；
`__local_bh_disable_ip`是怎麼實現的呢，貌似也沒有看到關搶佔？有必要前情回顧一下了，如果看過之前的文章的朋友，應該見過下邊這張圖片：
- `thread_info->