從零開始編寫一個BitTorrent下載器
阿新 • • 發佈：2021-03-15
# 從零開始編寫一個BitTorrent下載器
## BT協議
### 簡介
> BT協議Bit Torrent（BT）是一種通訊協議，又是一種應用程式，廣泛用於對等網路通訊（P2P）。曾經風靡一時，由於它引起了巨大的流量，對因特網的運營、維護和管理都產生了重要的影響。
BT協議的典型特徵就是沒有中心伺服器。BT協議中，作為參與者的機器被稱為**peers**。**peer**之間的通訊協議又被稱為**peer wire protocal**，即**peer連線協議**，是一個基於TCP協議的應用層協議。
BT協議在20年裡不斷髮展（從2001年開始），加入加密、私有種子等設計，也擴充套件了搜尋peer主機的方法。
### 連線
由於沒有中心伺服器，參與者需要使用另外的方法取得他人的地址，以建立對等連線，確定自己的機器應當從何處下載需要的檔案。傳統的BT協議使用中介伺服器**trackers**來告知每個參與者如何進行下載。**trackers**伺服器是基於HTTP的，這類伺服器本身不託管檔案資源，僅為每個參與者分配peers。
在BT協議網路中傳播違法資源的現象十分常見，這導致其中介伺服器常常會受到法律制裁，查封事件屢見不鮮。要解決這一問題，就需要將主機搜尋的工作下放到每個參與者的機器，即**分散式處理（distributed process）**。BT協議未來的核心就是[DHT](https://baike.baidu.com/item/DHT/1007999)、PEX、[磁力鏈](https://baike.baidu.com/item/磁力連結)。
## \.torrent檔案解析
以debian釋出的映象檔案種子為例。
一個\.torrent檔案描述了可下載檔案的內容以及需要連線到的tracker中介伺服器的資訊，其編碼格式為**Bencode**。
檔案的頭部資訊可以直接以文字形式檢視：
```
d8:announce41:http://bttracker.debian.org:6969/announce7:comment35:"Debian CD from cdimage.debian.org"13:creation datei1612616380e9:httpseedsl146:https://cdimage.debian.org/cdimage/release/edu//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-edu-10.8.0-amd64-netinst.iso146:https://cdimage.debian.org/cdimage/archive/edu//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-edu-10.8.0-amd64-netinst.isoe4:infod6:lengthi425721856e4:name35:debian-edu-10.8.0-amd64-netinst.iso12:piece lengthi262144e6:pieces32480:[每個部分的hash，以二進位制表示]
```
之後的內容為二進位制，無法直接檢視。
美化一下這個部分的資訊，可以發現清晰的結構特徵：
```json
d
8:announce
41:http://bttracker.debian.org:6969/announce
7:comment
35:"Debian CD from cdimage.debian.org"
13:creation date
i1612616380e
9:httpseeds
l
146:https://cdimage.debian.org/cdimage/release/edu//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-edu-10.8.0-amd64-netinst.iso
146:https://cdimage.debian.org/cdimage/archive/edu//srv/cdbuilder.debian.org/dst/deb-cd/weekly-builds/amd64/iso-cd/debian-edu-10.8.0-amd64-netinst.iso
e
4:info
d
6:length
i425721856e
4:name
35:debian-edu-10.8.0-amd64-netinst.iso
12:piece length
i262144e
6:pieces
32480:[每個部分的hash，以二進位制表示]
e
e
```
其中包含了tracker伺服器的URL、建立事件（Unix時間戳）、檔名和檔案大小、以及一系列表示每個檔案塊的**SHA\-1**雜湊值的二進位制片段（檔案塊是指檔案被等量拆分後形成的幾個部分）。每個種子中檔案被拆分的大小依據是不同的，但基本處在**一個區間內（256KB到1MB）**。因為這樣的設計，大型檔案將會被拆分成眾多碎片。在實際下載中，下載執行者會從能夠連線的那些peers主機下載檔案塊，並且根據種子檔案校驗其雜湊值，最後拼接成完整的檔案。
這種機制能夠確保每個檔案塊的完整性，抵禦裝置故障或惡意投毒（torrent poisoning）造成的損害。如果攻擊者不能破解SHA\-1進行[原像攻擊](https://zh.wikipedia.org/wiki/原像攻擊)（preimage attack），那麼下載取得的檔案就是安全可靠的。
### Bencode編碼
從已知的資訊可以看出，\.torrent檔案中的元資料均以“鍵：值”形式儲存，故可以將整個內容理解為一個經過特殊編碼的字典，或者一個近似的JSON。
Bencode中，數字採用十進位制編碼，相比純二進位制編碼顯得效率較低，但保證了良好的跨平臺性（無大小端儲存問題）。
Bencode支援四種類型的資料：string、int、Dictionary\、List\。
- **string型別**
string型別的編碼格式為**\[length\]:\[string\]**，以字串長度開頭，以字串內容結束。示例：
```
"abc" => 3:abc
```
- **int型別**
int型別的編碼格式為**i\[int\]e**，以i開頭，以e結尾。示例：
```
123 => i123e
```
- **Dictionary\型別**
Dictionary\型別的編碼格式為**d\[Key\-Value Pair\]e**，以d開頭，以e結尾。示例：
```
Dictionary<{"name":"create chen"},{"age":23}> => d4:name11:create chen3:agei23ee
```
- **List\型別**
List\型別的編碼格式為**l\[object\]e**，以l開頭，以e結尾。示例：
```
List<"abc", 123> => l3:abci123ee
```
### Bencode實現
#### 編碼
```java
public static string Encode(object obj)
{
var sb = new StringBuilder();
if(obj is Dictionary)
{
var parseObj = obj as Dictionary;
sb.Append("d");
foreach (var o in parseObj)
{
sb.AppendFormat("{0}:{1}{2}", o.Key.Length,o.Key, Encode(o.Value));
}
sb.Append("e");
}
if ((obj as int?) != null)
{
var parseObj = (int) obj;
sb.AppendFormat("i{0}e", parseObj);
}
if (obj is List