1. 程式人生 > >一次 MySQL 老資料同步

一次 MySQL 老資料同步

先說下業務背景,專案中白名單功能重構。這就涉及到老資料同步問題

  • 表結構
CREATE TABLE `nw_white_list` (
`id` int(10) unsigned NOT NULL AUTO_INCREMENT,
`user_id` int(11) NOT NULL,
`sub_user_id` int(11) DEFAULT NULL,
`platform` tinyint(4) NOT NULL COMMENT '10: 淘寶/天貓 20: 京東',
`channel` tinyint(4) NOT NULL COMMENT '10:哇聊 20: 手動錄入 30:批量匯入',
`buyer_nick` varchar(255) COLLATE utf8mb4_unicode_ci NOT NULL COMMENT '旺旺或咚咚',
`status` tinyint(4) NOT NULL COMMENT '10: 正常,-1 刪除',
`created_at` timestamp NULL DEFAULT NULL,
`updated_at` timestamp NULL DEFAULT NULL,
PRIMARY KEY (`id`),
KEY `user_id_platform` (`user_id`,`platform`) USING BTREE
) ENGINE=InnoDB AUTO_INCREMENT=0 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci;
  • 同步問題

    • 批量插入
    • 需要保持user_idplatformbuyer_nick 唯一
    • status 狀態標示(軟刪)
    • 如果存在則更新,如果不存在則新增
  • 解決方案

  1. 方案一:REPLACE
   REPLACE INTO nw_white_list (user_id, sub_user_id, platform, channel, status, buyer_nick, created_at, updated_at)
VALUES {$insertStr}

這樣的話就需要建立user_id

platformbuyer_nickstatus 四個欄位的唯一索引

  1. 方案二:INSERT … ON DUPLICATE KEY UPDATE
	INSERT INTO nw_white_list (user_id, sub_user_id, platform, channel, status, buyer_nick, created_at, updated_at)
VALUES {$insertStr} ON DUPLICATE KEY UPDATE updated_at = now()

這種方法也需要建立user_idplatformbuyer_nick

status 四個欄位的唯一索引

  1. 方法三:先通過user_idplatformbuyer_nick批量查詢,刪除已經存在的記錄,然後批量插入
  • 選擇

因為設計到軟刪問題,如果設定user_idplatformbuyer_nickstatus四個欄位的唯一索引,那每次刪除就要檢查之前是否有刪除的記錄。最後選用了第三種方案。