Go 每日一庫之 fsnotify
簡介
上一篇文章Go 每日一庫之 viper中,我們介紹了 viper 可以監聽檔案修改進而自動重新載入。
其內部使用的就是fsnotify
這個庫,它是跨平臺的。今天我們就來介紹一下它。
快速使用
先安裝:
$ go get github.com/fsnotify/fsnotify
後使用:
package main import ( "log" "github.com/fsnotify/fsnotify" ) func main() { watcher, err := fsnotify.NewWatcher() if err != nil { log.Fatal("NewWatcher failed: ", err) } defer watcher.Close() done := make(chan bool) go func() { defer close(done) for { select { case event, ok := <-watcher.Events: if !ok { return } log.Printf("%s %s\n", event.Name, event.Op) case err, ok := <-watcher.Errors: if !ok { return } log.Println("error:", err) } } }() err = watcher.Add("./") if err != nil { log.Fatal("Add failed:", err) } <-done }
fsnotify
的使用比較簡單:
- 先呼叫
NewWatcher
建立一個監聽器; - 然後呼叫監聽器的
Add
增加監聽的檔案或目錄; - 如果目錄或檔案有事件產生,監聽器中的通道
Events
可以取出事件。如果出現錯誤,監聽器中的通道Errors
可以取出錯誤資訊。
上面示例中,我們在另一個 goroutine 中迴圈讀取發生的事件及錯誤,然後輸出它們。
編譯、執行程式。在當前目錄建立一個新建文字文件.txt
,然後重新命名為file1.txt
檔案,輸入內容some test text
,然後刪除它。觀察控制檯輸出:
2020/01/20 08:41:17 新建文字文件.txt CREATE 2020/01/20 08:41:25 新建文字文件.txt RENAME 2020/01/20 08:41:25 file1.txt CREATE 2020/01/20 08:42:28 file1.txt REMOVE
其實,重新命名時會產生兩個事件,一個是原檔案的RENAME
事件,一個是新檔案的CREATE
事件。
注意,fsnotify
使用了作業系統介面,監聽器中儲存了系統資源的控制代碼,所以使用後需要關閉。
事件
上面示例中的事件是fsnotify.Event
型別:
// fsnotify/fsnotify.go
type Event struct {
Name string
Op Op
}
事件只有兩個欄位,Name
表示發生變化的檔案或目錄名,Op
表示具體的變化。Op
有 5 中取值:
// fsnotify/fsnotify.go type Op uint32 const ( Create Op = 1 << iota Write Remove Rename Chmod )
在快速使用中,我們已經演示了前 4 種事件。Chmod
事件在檔案或目錄的屬性發生變化時觸發,在 Linux 系統中可以通過chmod
命令改變檔案或目錄屬性。
事件中的Op
是按照位來儲存的,可以儲存多個,可以通過&
操作判斷對應事件是不是發生了。
if event.Op & fsnotify.Write != 0 {
fmt.Println("Op has Write")
}
我們在程式碼中不需要這樣判斷,因為Op
的String()
方法已經幫我們處理了這種情況了:
// fsnotify.go
func (op Op) String() string {
// Use a buffer for efficient string concatenation
var buffer bytes.Buffer
if op&Create == Create {
buffer.WriteString("|CREATE")
}
if op&Remove == Remove {
buffer.WriteString("|REMOVE")
}
if op&Write == Write {
buffer.WriteString("|WRITE")
}
if op&Rename == Rename {
buffer.WriteString("|RENAME")
}
if op&Chmod == Chmod {
buffer.WriteString("|CHMOD")
}
if buffer.Len() == 0 {
return ""
}
return buffer.String()[1:] // Strip leading pipe
}
應用
fsnotify
的應用非常廣泛,在 godoc 上,我們可以看到哪些庫匯入了fsnotify
。只需要在fsnotify
文件的 URL 後加上?imports
即可:
https://godoc.org/github.com/fsnotify/fsnotify?importers。有興趣開啟看看,要 fq。
上一篇文章中,我們介紹了呼叫viper.WatchConfig
就可以監聽配置修改,自動重新載入。下面我們就來看看WatchConfig
是怎麼實現的:
// viper/viper.go
func WatchConfig() { v.WatchConfig() }
func (v *Viper) WatchConfig() {
initWG := sync.WaitGroup{}
initWG.Add(1)
go func() {
watcher, err := fsnotify.NewWatcher()
if err != nil {
log.Fatal(err)
}
defer watcher.Close()
// we have to watch the entire directory to pick up renames/atomic saves in a cross-platform way
filename, err := v.getConfigFile()
if err != nil {
log.Printf("error: %v\n", err)
initWG.Done()
return
}
configFile := filepath.Clean(filename)
configDir, _ := filepath.Split(configFile)
realConfigFile, _ := filepath.EvalSymlinks(filename)
eventsWG := sync.WaitGroup{}
eventsWG.Add(1)
go func() {
for {
select {
case event, ok := <-watcher.Events:
if !ok { // 'Events' channel is closed
eventsWG.Done()
return
}
currentConfigFile, _ := filepath.EvalSymlinks(filename)
// we only care about the config file with the following cases:
// 1 - if the config file was modified or created
// 2 - if the real path to the config file changed (eg: k8s ConfigMap replacement)
const writeOrCreateMask = fsnotify.Write | fsnotify.Create
if (filepath.Clean(event.Name) == configFile &&
event.Op&writeOrCreateMask != 0) ||
(currentConfigFile != "" && currentConfigFile != realConfigFile) {
realConfigFile = currentConfigFile
err := v.ReadInConfig()
if err != nil {
log.Printf("error reading config file: %v\n", err)
}
if v.onConfigChange != nil {
v.onConfigChange(event)
}
} else if filepath.Clean(event.Name) == configFile &&
event.Op&fsnotify.Remove&fsnotify.Remove != 0 {
eventsWG.Done()
return
}
case err, ok := <-watcher.Errors:
if ok { // 'Errors' channel is not closed
log.Printf("watcher error: %v\n", err)
}
eventsWG.Done()
return
}
}
}()
watcher.Add(configDir)
initWG.Done() // done initializing the watch in this go routine, so the parent routine can move on...
eventsWG.Wait() // now, wait for event loop to end in this go-routine...
}()
initWG.Wait() // make sure that the go routine above fully ended before returning
}
其實流程是相似的:
- 首先,呼叫
NewWatcher
建立一個監聽器; - 呼叫
v.getConfigFile()
獲取配置檔案路徑,抽出檔名、目錄,配置檔案如果是一個符號連結,獲得連結指向的路徑; - 呼叫
watcher.Add(configDir)
監聽配置檔案所在目錄,另起一個 goroutine 處理事件。
WatchConfig
不能阻塞主 goroutine,所以建立監聽器也是新起 goroutine 進行的。程式碼中有兩個sync.WaitGroup
變數,initWG
是為了保證監聽器初始化,
eventsWG
是在事件通道關閉,或配置被刪除了,或遇到錯誤時退出事件處理迴圈。
然後就是核心事件迴圈:
- 有事件發生時,判斷變化的檔案是否是在 viper 中設定的配置檔案,發生的是否是建立或修改事件(只處理這兩個事件);
- 如果配置檔案為符號連結,若符合連結的指向修改了,也需要重新載入配置;
- 如果需要重新載入配置,呼叫
v.ReadInConfig()
讀取新的配置; - 如果註冊了事件回撥,以發生的事件為引數執行回撥。
總結
fsnotify
的介面非常簡單直接,所有系統相關的複雜性都被封裝起來了。這也是我們平時設計模組和介面時可以參考的案例。
參考
- fsnotify API 設計
- fsnotify GitHub 倉庫
我
我的部落格
歡迎關注我的微信公眾號【GoUpUp】,共同學習,一起進步~
本文由部落格一文多發平臺 OpenWrite 釋出!