場景 mysql的資料-->通過canal-->傳送到kafka-->mysql、hive

在做canal整合kafka的時候，發現一個問題，多分割槽的情況下，跨分割槽的資料消費是無序的。

這時候就會出現問題，如果消費端消費的更新日誌在插入日誌之前，就會因為資料缺失導致異常（這樣的情況隨著併發出現的概率會增大），所以，需要保證新增的日誌和更新的日誌是有序的被消費。

kafka傳送資料是支援指定分割槽的，這時候，只要把同一個表的同一個主鍵的資料發到同一個分割槽即可（如果多資料庫得加入資料庫名）

分割槽定義如下：

private int partitionDefine(String keyToPartition) {
	if (keyToPartition == null) {
		return new Random().nextInt(numPartitions);
	} else {
		return Math.abs(keyToPartition.hashCode()) % numPartitions;
	}
}
 

這樣，消費到的資料就是有序的。不同的場景靈活運用即可。