sequelize 應用hook 實現對分表的訪問
https://github.com/cclient/sequelize-sharding
https://www.npmjs.com/package/sequelize-sharding
實際有效的程式碼就幾行，主要時間都花在這篇部落格和readme.md上
————————————————
公司裡有node專案用sequelize外掛操作mysql
mysql部分表涉及到分表方案，而sequelizel 預設不支援分表
mysql服務端運維層面，java客戶端應用層面，對分庫分表的支援比較成熟，而nodejs客戶端就比較欠缺了
sequelize預設不支援，只能選擇手動擴充套件
思路和java方面的一致，都很簡單，就是在dao操作前後作一個切面，定製個改要操作的庫/表，不只是分庫分表，讀寫分離，異構表優化，多租戶資源隔離，都是按這種思路作的，sequelize也一致
簡單梳理了一下sequelize的執行結構
使用者操作直接面對的是Model
Model定義類似
export class User { constructor(id: number,name: string,created_on: Date,updated_on: Date) { this.id = id this.name = name this.created_on = created_on this.updated_on = updated_on } id: number name: string created_on: Date updated_on: Date } const USER_ORM_MAP={ id: { type: Sequelize.INTEGER, autoIncrement: true,primaryKey: true }, name : Sequelize.STRING, created_on : Sequelize.DATE, updated_on : Sequelize.DATE } const DUser = sequelize.define("user", USER_ORM_MAP,{ freezeTableName: true,createdAt:false,updatedAt:false,deletedAt:false});
所有的dao操作都過Model類的例項DUser完成
例
export async function getUsersByIds(ids:Array<string>) :Promise<Array<User>> { if(site_ids.length==0){ return []; } let hasUsers= await DUser.findAll({where:{id:ids}}) return hasUsers as Array<User>; }
Model原始碼
https://github.com/sequelize/sequelize/blob/b37985d550e8aeb2bc518f3bd5dcb09c95a142d8/lib/model.js
內有兩個核心物件
static get QueryInterface() { return this.sequelize.getQueryInterface(); } static get QueryGenerator() { return this.QueryInterface.QueryGenerator; }
Model對sql的操作通過QueryGenerator實現
https://github.com/sequelize/sequelize/blob/b37985d550e8aeb2bc518f3bd5dcb09c95a142d8/test/unit/sql/insert.test.js
const Support = require('../support'),
DataTypes = require('../../../lib/data-types'),
expectsql = Support.expectsql,
current = Support.sequelize,
sql = current.dialect.QueryGenerator;
expectsql(sql.insertQuery(User.tableName, {user_name: 'triggertest'}, User.rawAttributes, options),
{
query: {
mssql: 'declare @tmp table ([id] INTEGER,[user_name] NVARCHAR(255));INSERT INTO [users] ([user_name]) OUTPUT INSERTED.[id],INSERTED.[user_name] into @tmp VALUES ($1);select * from @tmp;',
postgres: 'INSERT INTO "users" ("user_name") VALUES ($1) RETURNING *;',
default: 'INSERT INTO `users` (`user_name`) VALUES ($1);'
},
bind: ['triggertest']
});
原始碼不用再看，到這裡就夠了
sql = current.dialect.QueryGenerator;
sql.insertQuery(User.tableName, {user_name: 'triggertest'}, User.rawAttributes, options)
再看Model的原始碼 tableName的部分相關資訊
* @param {string} [options.tableName] Defaults to pluralized model name, unless freezeTableName is true, in which case it uses model name verbatim
if (!this.options.tableName) {
this.tableName = this.options.freezeTableName ? this.name : Utils.underscoredIf(Utils.pluralize(this.name), this.underscored);
} else {
this.tableName = this.options.tableName;
}
static getTableName() { // testhint options:none
return this.QueryGenerator.addSchema(this);
}
預設不公開tableName欄位，也不提供setTableName,tableName完全在定義時構造
理論上更改User.tableName，即可完成換表操作
測試
if (!module.parent) { getUsersByIds([1,2,3,4]).then(u1=>{ DUser.tableName="user2"; }).then(()=>{ getUsersByIds([1,2,3,4]).then(bbb=>{ }) }) }
列印日誌
sequelize deprecated String based operators are now deprecated. Please use Symbol based operators for better security, read more at http://docs.sequelizejs.com/manual/tutorial/querying.html#operators node_modules/sequelize/lib/sequelize.js:237:13
Executing (default): SELECT `id`, `name`, `created_on`, `updated_on` FROM `user` AS `user` WHERE `user`.`id` IN ('1', '2');
Executing (default): SELECT `id`, `name`, `created_on`, `updated_on` FROM `user2` AS `user` WHERE `user`.`id` IN ('1', '2');
驗證成功
也幸好tableName並未設為不可修改，不然改sequelize原始碼還得多花點工夫
剩下就是功能開發了
在User操作之前
let customTableName=getCustomTableName(user);
User.tableName=customTableName;
User.insert(user);
這樣作程式碼侵入性較高，少點改改還可以，大規模應用則太不優雅
優雅的方案
1 定製修改 sequelize 程式碼，使支援分表，對sequelize原始碼不是非常熟悉，滿足某列動態生成的的需求，最多1天搞定，如果想優雅的提到原始碼裡，要花的工夫就多了
2 定製切面 shimmer，這是nodejs aop程式設計的工具，目的是aop，實現方式和java不同，java是執行時通過反射動態構造類，nodejs是在包裹原始包的的物件，像是裝飾者模式
3 思路和2類似，其實sequelize提了原生的切面，用原生切面即可
sequelize提供幾項Hooks
https://github.com/sequelize/sequelize/blob/master/docs/hooks.md
原本是為資料操作提供入口
例
User.addHook('beforeValidate', (user, options) => {
user.mood = 'happy';
});
主要是操作物件是user實體，hooks算是sequelize預設提供的部分切面
我們可以看看在部分hooks上能否實現對User.tableName的更改
檢視所有 hooks https://github.com/sequelize/sequelize/blob/master/lib/hooks.js
先在beforeFind上作測試
if (!module.parent) { User.addHook('beforeFind', (user, options) => { User.tableName="user2"; console.log("beforeFind","set custom tableName",User.tableName) }) getUsersByIds([1,2,3,4]).then(u1=>{ }).then(()=>{ getUsersByIds([1,2,3,4]).then(bbb=>{ }) }) }
看日誌 果然生效
最終選型，先用方案3快速實現，方案3完成後，有精力用方案1實現，方案2因為方案3的存在，沒什麼應用的價值
----
原始碼寫的不是很細緻，只是滿足現階段最初級的需求，更細化和其他拓展需求，可以用同樣的思路實現
去掉異常檢測的程式碼，可以去掉所有依賴
實現用ts，看sequelize原生類結構清晰，測試則是js，js原生程式碼很久不寫了，湊合吧
最後其實分庫分表分割槽的應用，有點過氣的感覺(應用還是很廣，但因為各方面都很成熟完備，沒有再討論優化的空間，顯得很冷清)，有空可以單寫一篇出來，技術性的文章太多了，主要想扯點非技術性的東西，給過氣的東西一個總結