簡介：避免數據融合中心（a data fusion center）或是遠程通信(a long distance communication)又或是提供更好的負載平衡（better load balance），即一般的分布式計算的背景。

特點:
exact：準確收斂
constant stepsize：固定步長

假設條件1: (圖拓撲或matrix假設)

Decentralized Property：\(\omega_{ij}=\tilde{\omega}_{ij}=0\)（如果不存在通信或連接）

Symmetry：\(W=W^T\), \(\tilde{W}=\tilde{W}^T\)(註意這裏並沒有要求平衡圖，因此是無向不平衡)

Null Space Property: null {\(W-\tilde{W}\)}=span {\(1\)}

Spectral Property: \(\tilde{W}\succ 0\), \(\frac{I+W}{2}\succeq\tilde{W}\succeq{W}\)

關於轉移矩陣的四種形式:

對稱雙隨機(對稱雙隨機轉移矩陣是最理想的分布式優化條件)
- 基於Laplace常數的邊權矩陣(Laplacian-based constant edge weight matrix)
$$W=I-\frac{L}{\tau}$$
其中\(L\)是圖的拉普拉斯矩陣，\(\tau >\frac{1}{2}\lambda_{\max}(L)\)是一個標量，如果找不到\(\lambda\),可以設置節點最大度+\(\epsilon\)，例如1

Extra方法使用任意的matrix都是可以的。

具體算法:

$$\begin{align}x^1= Wx^0-\alpha\nabla f(x^0)\\
x^{k+2}=(I+W)x^{k+1}-Wx^{k}-\alpha[\nabla f(x^{k+1})-\nabla f(x^k)]\end{align}$$

假設條件2 (目標函數假設)

所有的函數都是 proper closed convex且Lipschitz continuous。即，符合利普希茨連續的閉凸函數。

假設條件3 (存在性假設)

最優解集是存在的。

修正過程:

根據算法容易得出
$x^1=Wx^0-\alpha\nabla f(x^0)$
$x^2= (I+W)x^1-\tilde{W}x^0-\alpha \nabla f(x^1)+\alpha\nabla f(x^0)$
$\cdots$
依次遞推後相加，得到
$$x^{k+1}=Wx^k-\alpha \nabla f(x^k)+\sum^{k-1}_{t=0}(W-\tilde{W})x^t,k=0,1,\cdots(1)$$

多項式前面部分就是傳統的DGD方案，最後一項就是修正項。

關於這個遞推式，可以兩邊做變形，湊出$W$和$\tilde{W}$的關系。
已知$\tilde{W}=\frac{I+W}{2}$,那麽
變形(1)得到$$(I+W-2\tilde{W})x^{k+1}+\tilde{W}(x^{k+1}-x^k)=-(\tilde{W}-W)^{1/2}\sum^{k+1}_{t=0}(\tilde{W}-W)^{1/2}x^t-\alpha \nabla f(x^k)$$

只要證明$-(\tilde{W}-W)^{1/2}\sum^{k+1}_{t=0}(\tilde{W}-W)^{1/2}x^t-\alpha \nabla f(x^k)$等於0即可證明表達式最終收斂。

精確的一階分布式算法：Extra