1. 程式人生 > >tidb 2.1.4-5 升級備忘

tidb 2.1.4-5 升級備忘

計算 影響 nbsp yml roc 統計 增量 ans 機制

  公司之前使用的是tidb 2.1.0-rc5,因為版本較低,GA版本已發布,已到2.1.4,並且準備使用最新的tidb-binlog方式來存放增量,所以將OLAP的tidb集群升級到2.1.4版本。

  升級過程按照官方標準流程文檔進行,註意一定下載最新的tidb-ansible,升級無異常,升級完成後測試一般使用無異常。

  兩三天後,BI同事反映查詢經常出現連接中斷情況,檢查為tidb服務經常出現oom導致,發現為統計腳本導致,但是和業務確認升級前無異常,業務邏輯臨時無法解決,故升級2.1.5版本。

  升級2.1.5版本問題更加嚴重,ETL的寫操作也受到影響,寫入速度非常慢,大量TIME_COP_PROCESS報錯,延遲等待數據移動(這也與IDC機房網絡帶寬受限有關)。

  首先調整tidb服務內存占用超限限制,超過32GB後kill語句,但還是不行,然後修改pd配置(合並region),還是一樣問題。

pd-ctl -u http://127.0.0.1:2379

config set max-merge-region-size 20

config set max-merge-region-keys  200000

  最後修改tikv.yml的raftstore配置(我理解為raft的數據和日誌刷新機制)才得以解決

[raftstore]
raft-base-tick-interval: "2s"
raft-log-gc-tick-interval: "60s"

  但實際還是與業務使用tidb方式有關,經常用tidb全量進行數據統計計算,建議使用tispark

    

tidb 2.1.4-5 升級備忘