1. 程式人生 > >網絡爬蟲之MongoDB數據庫的使用

網絡爬蟲之MongoDB數據庫的使用

大量 保留 有序 .com pan 缺點 sch 格式 引號

一.簡潔

MongoDB是一款強大、靈活、且易於擴展的通用型數據庫

1、易用性

MongoDB是一個面向文檔(document-oriented)的數據庫,而不是關系型數據庫。
不采用關系型主要是為了獲得更好得擴展性。當然還有一些其他好處,與關系數據庫相比,面向文檔的數據庫不再有“行“(row)的概念取而代之的是更為靈活的“文檔”(document)模型。
通過在文檔中嵌入文檔和數組,面向文檔的方法能夠僅使用一條記錄來表現復雜的層級關系,這與現代的面向對象語言的開發者對數據的看法一致。
另外,不再有預定義模式(predefined schema):文檔的鍵(key)和值(value)不再是固定的類型和大小。由於沒有固定的模式,根據需要添加或刪除字段變得更容易了。
通常由於開發者能夠進行快速叠代,所以開發進程得以加快。而且,實驗更容易進行。開發者能嘗試大量的數據模型,
從中選一個最好的。

2、易擴展性

應用程序數據集的大小正在以不可思議的速度增長。隨著可用帶寬的增長和存儲器價格的下降,即使是一個小規模的應用程序,需要存儲的數據量也可能大的驚人,甚至超出
了很多數據庫的處理能力。過去非常罕見的T級數據,現在已經是司空見慣了。
由於需要存儲的數據量不斷增長,開發者面臨一個問題:應該如何擴展數據庫,分為縱向擴展和橫向擴展,縱向擴展是最省力的做法,但缺點是大型機一般都非常貴,而且
當數據量達到機器的物理極限時,花再多的錢也買不到更強的機器了,此時選擇橫向擴展更為合適,但橫向擴展帶來的另外一個問題就是需要管理的機器太多。
MongoDB的設計采用橫向擴展。面向文檔的數據模型使它能很容易地在多臺服務器之間進行數據分割。MongoDB能夠自動處理跨集群的數據和負載,自動重新分配文檔,以及將
用戶的請求路由到正確的機器上。這樣,開發者能夠集中精力編寫應用程序,而不需要考慮如何擴展的問題。如果一個集群需要更大的容量,只需要向集群添加新服務器,
MongoDB就會自動將現有的數據向新服務器傳送

3、豐富的功能

MongoDB作為一款通用型數據庫,除了能夠創建、讀取、更新和刪除數據之外,還提供了一系列不斷擴展的獨特功能
#1、索引
支持通用二級索引,允許多種快速查詢,且提供唯一索引、復合索引、地理空間索引、全文索引

#2、聚合
支持聚合管道,用戶能通過簡單的片段創建復雜的集合,並通過數據庫自動優化

#3、特殊的集合類型
支持存在時間有限的集合,適用於那些將在某個時刻過期的數據,如會話session。類似地,MongoDB也支持固定大小的集合,用於保存近期數據,如日誌

#4、文件存儲
支持一種非常易用的協議,用於存儲大文件和文件元數據。MongoDB並不具備一些在關系型數據庫中很普遍的功能,如鏈接join和復雜的多行事務。省略
這些的功能是處於架構上的考慮,或者說為了得到更好的擴展性,因為在分布式系統中這兩個功能難以高效地實現

4、卓越的性能

MongoDB的一個主要目標是提供卓越的性能,這很大程度上決定了MongoDB的設計。MongoDB把盡可能多的內存用作緩存cache,視圖為每次查詢自動選擇正確的索引。
總之各方面的設計都旨在保持它的高性能
雖然MongoDB非常強大並試圖保留關系型數據庫的很多特性,但它並不追求具備關系型數據庫的所有功能。只要有可能,數據庫服務器就會將處理邏輯交給客戶端。
這種精簡方式的設計是MongoDB能夠實現如此高性能的原因之一

二. MongoDB基礎知識

技術分享圖片

1、文檔是MongoDB的核心概念。文檔就是鍵值對的一個有序集{‘msg‘:‘hello‘,‘foo‘:3}。類似於python中的有序字典。

需要註意的是:
#1、文檔中的鍵/值對是有序的。
#2、文檔中的值不僅可以是在雙引號裏面的字符串,還可以是其他幾種數據類型(甚至可以是整個嵌入的文檔)。
#3、MongoDB區分類型和大小寫。
#4、MongoDB的文檔不能有重復的鍵。
#5、文檔中的值可以是多種不同的數據類型,也可以是一個完整的內嵌文檔。文檔的鍵是字符串。除了少數例外情況,鍵可以使用任意UTF-8字符。

文檔鍵命名規範:
#1、鍵不能含有\0 (空字符)。這個字符用來表示鍵的結尾。
#2、.和$有特別的意義,只有在特定環境下才能使用。
#3、以下劃線"_"開頭的鍵是保留的(不是嚴格要求的)。

2、集合就是一組文檔。如果將MongoDB中的一個文檔比喻為關系型數據的一行,那麽一個集合就是相當於一張表

#1、集合存在於數據庫中,通常情況下為了方便管理,不同格式和類型的數據應該插入到不同的集合,但其實集合沒有固定的結構,這意味著我們完全可以把不同格式和類型的數據統統插入一個集合中。

#2、組織子集合的方式就是使用“.”,分隔不同命名空間的子集合。
比如一個具有博客功能的應用可能包含兩個集合,分別是blog.posts和blog.authors,這是為了使組織結構更清晰,這裏的blog集合(這個集合甚至不需要存在)跟它的兩個子集合沒有任何關系。
在MongoDB中,使用子集合來組織數據非常高效,值得推薦

#3、當第一個文檔插入時,集合就會被創建。合法的集合名:
集合名不能是空字符串""。
集合名不能含有\0字符(空字符),這個字符表示集合名的結尾。
集合名不能以"system."開頭,這是為系統集合保留的前綴。
用戶創建的集合名字不能含有保留字符。有些驅動程序的確支持在集合名裏面包含,這是因為某些系統生成的集合中包含該字符。除非你要訪問這種系統創建的集合,否則千萬不要在名字裏出現$。

3、數據庫:在MongoDB中,多個文檔組成集合,多個集合可以組成數據庫

數據庫也通過名字來標識。數據庫名可以是滿足以下條件的任意UTF-8字符串:
#1、不能是空字符串("")。
#2、不得含有 (空格)、.、$、/、\和\0 (空字符)。
#3、應全部小寫。
#4、最多64字節。

有一些數據庫名是保留的,可以直接訪問這些有特殊作用的數據庫。
#1、admin: 從身份認證的角度講,這是“root”數據庫,如果將一個用戶添加到admin數據庫,這個用戶將自動
獲得所有數據庫的權限。再者,一些特定的服務器端命令也只能從admin數據庫運行,如列出所有數據庫或關閉服務器 #
2、local: 這個數據庫永遠都不可以復制,且一臺服務器上的所有本地集合都可以存儲在這個數據庫中 #3、config: MongoDB用於分片設置時,分片信息會存儲在config數據庫中

4、強調:把數據庫名添加到集合名前,得到集合的完全限定名,即命名空間

例如:
如果要使用cms數據庫中的blog.posts集合,這個集合的命名空間就是
cmd.blog.posts。命名空間的長度不得超過121個字節,且在實際使用中應該小於100個字節

技術分享圖片

三.MongoDB的安裝與使用

01】windows下安裝首先去官網下載:
https://www.mongodb.com/dr/fastdl.mongodb.org/win32/mongodb-win32-x86_64-2008plus-ssl-3.4.4-signed.msi/download
02】下載後安裝,安裝完畢後,將bin目錄配置到系統的環境變量中去

【03】進入到安裝目錄下新建文件夾:
首先新建一個data目錄:
D:\ProfessionalSoftwares\mongodb\data
然後在data目錄下新建兩個文件夾:db和logs
最後在logs目錄下新建一個文件:mongo.log

【04】現在我們將mongoDB做成一個服務然後在後臺運行,這樣我們每次開機就可以使用MongoDB服務端了:
首先以管理員身份運行cmd命令行,然後在命令行中執行如下的命令:(因為我配置了環境變量,所以可以直接使用
mongod命令)
mongod --bind_ip 0.0.0.0 --logpath D:\ProfessionalSoftwares\mongodb\data\logs\mongo.log
--logappend --dbpath D:\ProfessionalSoftwares\mongodb\data\db --port 27017
--serviceName "MongoDB" --serviceDisplayName "MongoDB" --install --auth 上述--install參數表示將mongodb作為一個服務進行安裝,--auth表示我客戶端鏈接mongodb服務端時,需要輸入指定的用戶名和密碼 安裝完畢後,然後在剛才開啟的管理員cmd命令行中啟動MongoDB服務: net start MongoDB 這裏的MongoDB就是上面命令中的服務名:serviceName 另外如果需要關閉MongoDB這個服務,只需要使用net stop MongoDB即可 【05】最終操作完畢後,我們在瀏覽器中輸入如下的網址:http://localhost:27017/ 顯示這句話就表示我們安裝成功:
It looks like you are trying to access MongoDB over HTTP on the native driver port.

2.賬號管理

數據庫一般都是有相應的賬號和密碼的,MongoDB也有:

#賬號管理,參考官網地址:https://docs.mongodb.com/master/tutorial/enable-authentication/

#1、創建賬號,這裏我們相當於創建了一個管理員賬號root,然後在使用Robomongo登入數據庫時,需要輸入驗證,
要不然會報錯:Failed to execute "listdatabases" command.  筆者在這裏坑了好久
默認情況下,MongoDB存在兩個數據庫:admin和test,我們創建管理員賬戶時,一般都在admin數據庫下

註意下面的步驟,都是需要在管理員權限的cmd命令行下執行:

接著上面的說,在初始環境下登入到MongoDB數據庫後,我們直接使用admin數據庫,然後創建賬號
use admin
db.createUser(
  {
    user: "root",
    pwd: "cisco123",
    roles: [ { role: "root", db: "admin" } ]
  }
)

#2、重啟數據庫
創建完管理員賬號和密碼後,我們首先退出MongoDb數據庫,然後將剛才安裝的MongoDB數據庫服務移除:
先關閉服務:net stop MongoDB
然後刪除:
mongod --remove

移除後,我們再來重新安裝服務,這次安裝我們加入了--auth參數,
該參數表示,下次客戶端連接MongoDB數據庫時候,需要輸入用戶名和密碼,如下所示:
mongod --bind_ip 0.0.0.0 --logpath D:\ProfessionalSoftwares\mongodb\data\logs\mongo.log --logappend --dbpath D:\ProfessionalSoftwares\mongodb\data\db --port 27017 --serviceName "MongoDB" --serviceDisplayName "MongoDB"  --install  --auth

然後再來重啟服務:
net start MongoDB

現在我們來使用賬號和密碼登入MongoDB數據庫,註意後面我們需要指定相應的數據庫名稱:admin
因為我們的管理員賬號和密碼是在admin數據庫下新建的:
#3、登錄:註意使用雙引號而非單引號
mongo --port 27017 -u "root" -p "cisco123" --authenticationDatabase "admin"

也可以在登錄之後用db.auth("賬號","密碼")登錄
mongo
use admin
db.auth("root","cisco123")

關於MongoDB的詳細信息可以關註這篇博客:
#推薦博客:https://www.cnblogs.com/zhoujinyi/p/4610050.html

四 MongoDB的基本數據類型

1、在概念上,MongoDB的文檔與Javascript的對象相近,因而可以認為它類似於JSON。
JSON(http://www.json.org)是一種簡單的數據表示方式:其規範僅用一段文字就能描述清楚(其官網證明了這點),且僅包含六種數據類型。 2、這樣有很多好處:易於理解、易於解析、易於記憶。然而從另一方面說,因為只有null、布爾、數字、字符串、
數字和對象這幾種數據類型,所以JSON的表達能力有一定的局限。
3、雖然JSON具備的這些類型已經具有很強的表現力,但絕大數應用(尤其是在於數據庫打交道時)都還需要其他一些重要的類型。
例如,JSON沒有日期類型,這使得原本容易日期處理變得煩人。另外,JSON只有一種數字類型,無法區分浮點數和整數,更別區分32位和64位了。再者JSON無法表示其他一些通用類型,如正則表達式或函數。
4、MongoDB在保留了JSON基本鍵/值對特性的基礎上,添加了其他一些數據類型。在不同的編程語言下,這些類型的確切表示有些許差異。下面說明了MongoDB支持的其他通用類型,以及如何使用它們

網絡爬蟲之MongoDB數據庫的使用