1. 程式人生 > >Mongodb中資料聚合之MapReduce

Mongodb中資料聚合之MapReduce

Mongodb是針對大資料量環境下誕生的用於儲存大資料量的非關係型資料庫,針對大量的資料,如何進行統計操作至關重要,那麼如何從Mongodb中統計一些資料呢?

在Mongodb中,給我們提供了三種用於資料聚合的方式:

(3)使用mapReduce進行統計;

今天我們首先來講講mapReduce是如何統計,在後續的文章中,將另起文章進行相關說明。

MapReduce是啥呢?以我的理解,其實就是對集合中的各個滿足條件的文件進行預處理,整理出想要的資料然後進行統計得到最終的統計結果。其中map函式用於對集合中的各個滿足條件的文件進行預處理,整理出想要的資料。Reduce函式用於對整理出的資料進行處理得到統計結果。Map函式和Reduce函式都是JavaScript函式。

首先,我們先構造一個測試資料集test,使用js指令碼往集合中隨機插入一組資料,每條記錄是哪個人花了多少錢買了什麼東西。具體指令碼test1.js如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">for( var i=0; i<100; i++){ 
	var rID=Math.floor(Math.random()*10); 
	var price = parseFloat((Math.random()*10).toFixed(2)); 
	if(rID<3){ 
		db.test.insert({"user":"majing","sku":rID,"price":price}); 
	} 
	else if(rID>=3 && rID<5){ 
		db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
	}
	else if(rID>=5 && rID<8){ 
		db.test.insert({"user":"wufenglei","sku":rID,"price":price}); 
	} 
	else {  
		db.test.insert({"user":"liyonghu","sku":rID,"price":price}); 
    } 
}</span></span>

接下來我們通過在控制檯執行指令碼來向資料庫插入具體的資料,具體執行指令如下:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;">mongo 127.0.0.1:27017/test J:/test1.js</span></span>

執行之後,通過MongoVUE來檢視下具體的資料,如下所示,資料已經插入到集合中了:


接下來,我們可以做幾個簡單的統計操作了。

(1)統計不同使用者都買了多少個商品?編寫js指令碼test2.js,將結果儲存到statis1集合中。

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
	emit(this.user,1);
}

reduce=function(key, values){
	var count = 0;
	values.forEach(function(val){count += val});
	return count;
}

db.test.mapReduce(map, reduce, {out:"statics1"});</span></span></span>

按照剛才執行指令碼的方式執行test2.js,並檢視資料:


從資料庫就可以直觀看到統計資料了,若想檢視某個人如majing購買了多少個商品,直接使用

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;"><span style="font-family:KaiTi_GB2312;font-size:18px;">db.statics1.find({"_id":"majing"});</span></span></span></span>
(2)統計每個使用者購買的每個商品的數量情況

指令碼test3.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
	emit({user:this.user,sku:this.sku},1);
}

reduce=function(key, values){
	var count = 0;
	values.forEach(function(val){count += val});
	return count;
}

db.test.mapReduce(map, reduce, {out:"statics2"});</span></span></span>
按照剛才執行指令碼的方式執行test3.js,並檢視資料:


總共返回了10條記錄。此時如果我們想查詢某個使用者購買商品的情況,可以使用下面的查詢方法:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics2.find({"_id.user":"majing"});</span></span></span>

如果我們想查詢某個使用者購買某個商品的情況,可以使用下面的查詢方法:

(3)統計每個使用者購買商品的總量及花費的總金額

指令碼test4.js如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
	emit({user:this.user},{totalprice:this.price,count:1});
}

reduce=function(key, values){
	var res = {totalprice:0.00,count:1};
	values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;});
	return res;
}

db.test.mapReduce(map, reduce, {out:"statics3"});</span></span></span>
按照剛才執行指令碼的方式執行test4.js,並檢視資料:

(4)統計每個使用者購買商品的平均價錢

在這個情景下,我們需要用到說道mapReduce裡的另一個引數finalize,該引數是一個javascript指令碼函式,用於對reduce後的集合進行一個後期處理操作。

執行指令碼test5.js,具體如下所示:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">map=function(){
	emit({user:this.user},{totalprice:this.price,count:1});
}

reduce=function(key, values){
	var res = {totalprice:0.00,count:1,average:0};
	values.forEach(function(val){res.totalprice += val.totalprice;res.count+=val.count;});
	return res;
}

finalizeFunc=function(key,reduceResult){
	reduceResult.totalprice=(reduceResult.totalprice).toFixed(2);
	reduceResult.average=(reduceResult.totalprice/reduceResult.count).toFixed(2);
	return reduceResult;
}

db.test.mapReduce(map, reduce, {out:"statics4",finalize:finalizeFunc});</span></span></span>

執行之後檢視得到的資料,具體如下所示,顯示了總價錢,商品數量和商品單價。

如果想查詢某個人的,可以和上面的查詢方法一樣,使用find()方法進行查詢:

<span style="font-family:KaiTi_GB2312;"><span style="font-size:18px;"><span style="font-size:18px;">db.statics4.find({"_id.user":"majing"});</span></span></span>

以上通過4個簡單的例子對Mongodb中的MapReduce進行了簡單的說明,當然MapReduce功能很強大,大家如果想知道其他高階的使用方法,可以到Mongodb的官網進行查閱和學習,網址為 https://docs.mongodb.com/manual/reference/method/db.collection.mapReduce/ ,謝謝。