github 程式碼commit機器人
摘要：
靈感
曾經有一次在GitHub上看到使用golang自動儲存trending的歷史記錄到markdown檔案的專案,感覺這個專案做的很新穎而精緻.進而做一個在GitHub上自動記錄每日hacknews新聞和貓眼電影.
知識儲備
html css select...
靈感
曾經有一次在GitHub上看到使用golang自動儲存trending的歷史記錄到markdown檔案的專案,感覺這個專案做的很新穎而精緻.進而做一個在GitHub上自動記錄每日hacknews新聞和貓眼電影.
知識儲備
- ofollow,noindex" target="_blank">html css selector 或者xpath 的語法,提出html的有用資訊(自己做爬蟲也會使用到)
- redis List/SET/HASH等資料結構
- 熟悉git的基本命令
- 熟悉ssh key和配置GitHub ssh key 登陸
- GO語言: exec,go-redis,goquery,template,http等包
- go stmp包傳送伺服器資訊和每日hacknews到自己的郵箱
思路
- 使用http包下載html文件
- goquery提取html中用的資訊
- 使用第三方翻譯介面翻譯有用資訊
- 儲存提取的資訊到redis中並去重,設定自動失效時間
- 獲取去重之後的資訊使用go template來渲染markdown格式的文件
- go exec 呼叫git命令提交生產之後的markdown檔案到github 同時更新readme.md檔案
- 傳送每日hacknews和伺服器的狀態到自己的郵箱
main.go程式碼註釋解析
package main
import (
"github.com/dejavuzhou/md-genie/util"
"log"
"time"
)
var gitCount = 1
func createCmds() []util.Cmd {
//使用兩個賬號輪流交替提交程式碼到GitHub
//可恥的私心:我要讓這兩個GitHub賬號在contributions in the last year 顯示面板都是綠色(代表活躍)
gitCount++
gifConfig1 := []util.Cmd{
{"git", []string{"config", "--global", "user.email", "'[email protected]'"}},
}
gifConfig2 := []util.Cmd{
{"git", []string{"config", "--global", "user.email", "'[email protected]'"}},
}
//執行一系列git命令 和 linux伺服器的命令 來定時監控伺服器的健康狀態
cmds := []util.Cmd{
{"git", []string{"config", "--global", "user.name", "'EricZhou'"}},
{"git", []string{"stash"}},
{"git", []string{"pull", "origin", "master"}},
{"git", []string{"stash", "apply"}},
{"git", []string{"add", "."}},
{"git", []string{"status"}},
{"git", []string{"commit", "-am", time.Now().Format(time.RFC3339)}},
{"git", []string{"status"}},
{"git", []string{"push", "origin", "master"}},
{"netstat", []string{"-lntp"}},
{"free", []string{"-m"}},
{"ps", []string{"aux"}},
}
if gitCount%2 == 0 {
cmds = append(gifConfig2, cmds...)
} else {
cmds = append(gifConfig1, cmds...)
}
return cmds
}
func main() {
//比較懶 使用最原始sleep的方法來實現定時任務
for {
//提出hacknews html中的新聞游泳資訊呼叫有道翻譯來 儲存資訊到redis
//如果有條件建議使用google翻譯API
if err := util.SpiderHackNews(); err != nil {
log.Fatal(err)
}
//解析hacknews新聞到markdown檔案,按照時間天格式命名
if err := util.ParseMarkdownHacknews(); err != nil {
log.Fatal(err)
}
//獲取貓眼電影json介面,儲存到redis
if err := util.FetchMaoyanApi(); err != nil {
log.Fatal(err)
}
//解析電影資訊到markdown檔案
if err := util.ParseMaoyanMarkdown(); err != nil {
log.Fatal(err)
}
//讀取archieves 資料夾名稱 生成readme.md檔案
util.ParseReadmeMarkdown()
//執行git linux 命令 儲存日誌 slice
gitlogs, err := util.RunCmds(createCmds())
if err != nil {
log.Fatal(err)
}
//解析日誌和hacknews新聞 生產email的html正文
//傳送郵件
if err, mailBody := util.ParseEmailContent(gitlogs); err == nil {
mailTitle := "md-genie+hacknews日誌:" + time.Now().Format(time.RFC3339)
util.SendMsgToEmail(mailTitle, mailBody)
} else {
log.Fatal(err)
}
//每天執行4次 我的兩個GitHub賬號就可以每天活躍數量為兩次
time.Sleep(6 * time.Hour)
}
}
dejavzuhou/util包解析
api.go command.go ding.go hacknews.go mail.go markdown.go redditnews.go scanfiles.go translate.go