設計一個分散式塊儲存
摘要：
https://github.com/jiajunhuang/hfs
最近讀了GFS論文，然後想自己造一個輪子出來，畢竟自己的輪子圓又圓。
設計思路
最開始其實是腦子一團漿糊，沒想好要怎麼完成這個設計。不過仔細想了一下之後，逐步把大的系統拆解之後，然後依次實現和迭代...
ofollow,noindex" target="_blank">https://github.com/jiajunhuang/hfs
最近讀了GFS論文，然後想自己造一個輪子出來，畢竟自己的輪子圓又圓。
設計思路
最開始其實是腦子一團漿糊，沒想好要怎麼完成這個設計。不過仔細想了一下之後，逐步把大的系統拆解之後，然後依次實現和迭代， 最終還是成功的做出來了。
- 封裝一套POSIX API的操作檔案的API，用於操作本地檔案，包括CRUD
- 封裝一套操作檔案(file)和chunk的API，並且提供RPC/">gRPC介面，稱之為chunkserver
- 使用etcd來儲存關於chunk和file的資訊，例如file有哪些chunk組成，順序是如何，每個chunk大小是多少，實際上寫入的資料是多少，把這些資訊稱之為meta data
- 給chunkserver加上服務註冊的功能，使得在etcd中可以讀取到worker的資訊
- 增加一個監聽chunk變化的worker，當發現本機有新建的chunk時，就挑選可用的其他chunkserver對該chunk進行同步
- 更改刪除檔案的API，刪除檔案時，刪除所有節點上的chunk
差不多就是這樣一個順序。
還可以做的事情：
hfsclient