mysql大表更新sql的優化策略
阿新 • • 發佈：2019-01-29
問題sql背景：專案有6個表的要根據pid欄位要寫入對應的brand_id欄位。但是這個其中有兩個表是千萬級別的。我的worker執行之後，線上的mysql主從同步立刻延遲了！運行了一個多小時之後，居然延遲到了40分鐘，而且只更新了十幾萬行資料。問題sql如下：
專案組的mysql專家幫我分析了下，因為pid欄位沒有索引，mysql引擎要逐行掃描出與傳入的pid值相等的列，然後更新資料，也就是要掃描完1000W+行磁碟資料才能執行完這個sql。因為是update操作，沒有用到索引，於是導致這個sql會佔用表鎖，其它的sql只能等這個sql執行完成之後才能開始執行。更嚴重的是，這個千萬級的表裡面有多少個不同的pid，我就要執行多少個這樣的sql。<!-- 根據商品id更新品牌id --> <update id="updateBrandIdByPid" parameterClass="com.**.chat.worker.domain.param.UpdateBrandIdParam"> UPDATE $tableName$ SET brand_id = #newBrandId# WHERE pid = #pid# AND brand_id = 0 </update>
同事給我的建議的根據id欄位進行sql程式碼層次的橫向分表。每次更新1000行的資料，這樣mysql引擎就不用每次在掃全表了，資料庫壓力是之前的萬分之一。而且id作為主鍵，是有索引的，這個時候佔用的是這1000行資料的行級鎖 ，不會影響其它的資料。有索引能大大優化查詢效能，優化後的sql如下：
僅僅用了id限區間的語句，將一個千萬級的大表程式碼層次上進行橫向切割。重新上線worker後，mysql主從沒有任何延遲！而且經過監控，短短10分鐘就更新了十幾萬資料，效率是之前的6倍！更重要的是資料庫負載均衡，應用健康執行。<!-- 根據商品id更新品牌id --> <update id="updateBrandIdByPid" parameterClass="com.**.chat.worker.domain.param.UpdateBrandIdParam"> UPDATE $tableName$ SET brand_id = #newBrandId# WHERE pid = #pid# AND brand_id = 0 AND id BETWEEN #startNum# AND #endNum# </update>