1. 程式人生 > >[轉] Nodejs 進階:Express 常用中間件 body-parser 實現解析

[轉] Nodejs 進階:Express 常用中間件 body-parser 實現解析

tree define pan iconv 不同 erro unzip body message

寫在前面

body-parser是非常常用的一個express中間件,作用是對post請求的請求體進行解析。使用非常簡單,以下兩行代碼已經覆蓋了大部分的使用場景。

app.use(bodyParser.json());
app.use(bodyParser.urlencoded({ extended: false }));

本文從簡單的例子出發,探究body-parser的內部實現。至於body-parser如何使用,感興趣的同學可以參考官方文檔。

入門基礎

在正式講解前,我們先來看一個POST請求的報文,如下所示。

POST /test HTTP/1.1
Host: 127.0.0.1:3000
Content-Type: text/plain; charset=utf8
Content-Encoding: gzip

chyingp

其中需要我們註意的有Content-TypeContent-Encoding以及報文主體:

  • Content-Type:請求報文主體的類型、編碼。常見的類型有text/plainapplication/jsonapplication/x-www-form-urlencoded。常見的編碼有utf8gbk等。
  • Content-Encoding:聲明報文主體的壓縮格式,常見的取值有gzipdeflateidentity
  • 報文主體:這裏是個普通的文本字符串chyingp

body-parser主要做了什麽

body-parser實現的要點如下:

  1. 處理不同類型的請求體:比如text
    jsonurlencoded等,對應的報文主體的格式不同。
  2. 處理不同的編碼:比如utf8gbk等。
  3. 處理不同的壓縮類型:比如gzipdeflare等。
  4. 其他邊界、異常的處理。

一、處理不同類型請求體

為了方便讀者測試,以下例子均包含服務端、客戶端代碼,完整代碼可在筆者github上找到。

解析text/plain

客戶端請求的代碼如下,采用默認編碼,不對請求體進行壓縮。請求體類型為text/plain

var http = require(‘http‘);

var options = {
    hostname: ‘127.0.0.1‘,
    port: ‘3000‘,
    path: ‘/test‘,
    method: ‘POST‘,
    headers: {
        ‘Content-Type‘: ‘text/plain‘,
        ‘Content-Encoding‘: ‘identity‘
    }
};

var client = http.request(options, (res) => {
    res.pipe(process.stdout);
});

client.end(‘chyingp‘);

服務端代碼如下。text/plain類型處理比較簡單,就是buffer的拼接。

var http = require(‘http‘);

var parsePostBody = function (req, done) {
    var arr = [];
    var chunks;

    req.on(‘data‘, buff => {
        arr.push(buff);
    });

    req.on(‘end‘, () => {
        chunks = Buffer.concat(arr);
        done(chunks);
    });
};

var server = http.createServer(function (req, res) {
    parsePostBody(req, (chunks) => {
        var body = chunks.toString();
        res.end(`Your nick is ${body}`)
    });
});

server.listen(3000);

解析application/json

客戶端代碼如下,把Content-Type換成application/json

var http = require(‘http‘);
var querystring = require(‘querystring‘);

var options = {
    hostname: ‘127.0.0.1‘,
    port: ‘3000‘,
    path: ‘/test‘,
    method: ‘POST‘,
    headers: {
        ‘Content-Type‘: ‘application/json‘,
        ‘Content-Encoding‘: ‘identity‘
    }
};

var jsonBody = {
    nick: ‘chyingp‘
};

var client = http.request(options, (res) => {
    res.pipe(process.stdout);
});

client.end( JSON.stringify(jsonBody) );

服務端代碼如下,相比text/plain,只是多了個JSON.parse()的過程。

var http = require(‘http‘);

var parsePostBody = function (req, done) {
    var length = req.headers[‘content-length‘] - 0;
    var arr = [];
    var chunks;

    req.on(‘data‘, buff => {
        arr.push(buff);
    });

    req.on(‘end‘, () => {
        chunks = Buffer.concat(arr);
        done(chunks);
    });
};

var server = http.createServer(function (req, res) {
    parsePostBody(req, (chunks) => {
        var json = JSON.parse( chunks.toString() );    // 關鍵代碼    
        res.end(`Your nick is ${json.nick}`)
    });
});

server.listen(3000);

解析application/x-www-form-urlencoded

客戶端代碼如下,這裏通過querystring對請求體進行格式化,得到類似nick=chyingp的字符串。

var http = require(‘http‘);
var querystring = require(‘querystring‘);

var options = {
    hostname: ‘127.0.0.1‘,
    port: ‘3000‘,
    path: ‘/test‘,
    method: ‘POST‘,
    headers: {
        ‘Content-Type‘: ‘form/x-www-form-urlencoded‘,
        ‘Content-Encoding‘: ‘identity‘
    }
};

var postBody = { nick: ‘chyingp‘ };

var client = http.request(options, (res) => {
    res.pipe(process.stdout);
});

client.end( querystring.stringify(postBody) );

服務端代碼如下,同樣跟text/plain的解析差不多,就多了個querystring.parse()的調用。

var http = require(‘http‘);
var querystring = require(‘querystring‘);

var parsePostBody = function (req, done) {
    var length = req.headers[‘content-length‘] - 0;
    var arr = [];
    var chunks;

    req.on(‘data‘, buff => {
        arr.push(buff);
    });

    req.on(‘end‘, () => {
        chunks = Buffer.concat(arr);
        done(chunks);
    });
};

var server = http.createServer(function (req, res) {
    parsePostBody(req, (chunks) => {
        var body = querystring.parse( chunks.toString() );  // 關鍵代碼
        res.end(`Your nick is ${body.nick}`)
    });
});

server.listen(3000);

二、處理不同編碼

很多時候,來自客戶端的請求,采用的不一定是默認的utf8編碼,這個時候,就需要對請求體進行解碼處理。

客戶端請求如下,有兩個要點。

  1. 編碼聲明:在Content-Type最後加上;charset=gbk
  2. 請求體編碼:這裏借助了iconv-lite,對請求體進行編碼iconv.encode(‘程序猿小卡‘, encoding)
var http = require(‘http‘);
var iconv = require(‘iconv-lite‘);

var encoding = ‘gbk‘;  // 請求編碼

var options = {
    hostname: ‘127.0.0.1‘,
    port: ‘3000‘,
    path: ‘/test‘,
    method: ‘POST‘,
    headers: {
        ‘Content-Type‘: ‘text/plain; charset=‘ + encoding,
        ‘Content-Encoding‘: ‘identity‘,        
    }
};

// 備註:nodejs本身不支持gbk編碼,所以請求發送前,需要先進行編碼
var buff = iconv.encode(‘程序猿小卡‘, encoding);

var client = http.request(options, (res) => {
    res.pipe(process.stdout);
});

client.end(buff, encoding);

服務端代碼如下,這裏多了兩個步驟:編碼判斷、解碼操作。首先通過Content-Type獲取編碼類型gbk,然後通過iconv-lite進行反向解碼操作。

var http = require(‘http‘);
var contentType = require(‘content-type‘);
var iconv = require(‘iconv-lite‘);

var parsePostBody = function (req, done) {
    var obj = contentType.parse(req.headers[‘content-type‘]);
    var charset = obj.parameters.charset;  // 編碼判斷:這裏獲取到的值是 ‘gbk‘

    var arr = [];
    var chunks;

    req.on(‘data‘, buff => {
        arr.push(buff);
    });

    req.on(‘end‘, () => {
        chunks = Buffer.concat(arr);
        var body = iconv.decode(chunks, charset);  // 解碼操作
        done(body);
    });
};

var server = http.createServer(function (req, res) {
    parsePostBody(req, (body) => {
        res.end(`Your nick is ${body}`)
    });
});

server.listen(3000);

三、處理不同壓縮類型

這裏舉個gzip壓縮的例子。客戶端代碼如下,要點如下:

  1. 壓縮類型聲明:Content-Encoding賦值為gzip
  2. 請求體壓縮:通過zlib模塊對請求體進行gzip壓縮。
var http = require(‘http‘);
var zlib = require(‘zlib‘);

var options = {
    hostname: ‘127.0.0.1‘,
    port: ‘3000‘,
    path: ‘/test‘,
    method: ‘POST‘,
    headers: {
        ‘Content-Type‘: ‘text/plain‘,
        ‘Content-Encoding‘: ‘gzip‘
    }
};

var client = http.request(options, (res) => {
    res.pipe(process.stdout);
});

// 註意:將 Content-Encoding 設置為 gzip 的同時,發送給服務端的數據也應該先進行gzip
var buff = zlib.gzipSync(‘chyingp‘);

client.end(buff);

服務端代碼如下,這裏通過zlib模塊,對請求體進行了解壓縮操作(guzip)。

var http = require(‘http‘);
var zlib = require(‘zlib‘);

var parsePostBody = function (req, done) {
    var length = req.headers[‘content-length‘] - 0;
    var contentEncoding = req.headers[‘content-encoding‘];
    var stream = req;

    // 關鍵代碼如下
    if(contentEncoding === ‘gzip‘) {
        stream = zlib.createGunzip();
        req.pipe(stream);
    }

    var arr = [];
    var chunks;

    stream.on(‘data‘, buff => {
        arr.push(buff);
    });

    stream.on(‘end‘, () => {
        chunks = Buffer.concat(arr);        
        done(chunks);
    });

    stream.on(‘error‘, error => console.error(error.message));
};

var server = http.createServer(function (req, res) {
    parsePostBody(req, (chunks) => {
        var body = chunks.toString();
        res.end(`Your nick is ${body}`)
    });
});

server.listen(3000);

寫在後面

body-parser的核心實現並不復雜,翻看源碼後你會發現,更多的代碼是在處理異常跟邊界。

另外,對於POST請求,還有一個非常常見的Content-Typemultipart/form-data,這個的處理相對復雜些,body-parser不打算對其進行支持。篇幅有限,後續章節再繼續展開。

歡迎交流,如有錯漏請指出。

相關鏈接

https://github.com/expressjs/body-parser/

https://github.com/ashtuchkin/iconv-lite

[轉] Nodejs 進階:Express 常用中間件 body-parser 實現解析