習慣了使用mongodb中文件(document)儲存方式, 可以靈活的將大量資料存入一個集合中的一條文件中, 這樣可以減少大量的資料冗餘, 不會出現關係性資料庫, 如myslq中表的某一列的資料冗餘. 不過這樣儲存雖好, 但其實也會存在一定的問題, 也就是mongodb中的大小限制, 即單個文件大小不能超過16M. 

    對遇到過這個問題的人來說, 這個16M的'概念'很好理解, 而對於還未意識到這個問題的人來說, 這個'坑' 可能會讓你花時間都難以發現, 因為這又要牽扯到mongodb的另一個儲存機制 ---- 無返回碼. 在 < mongodb 權威指南> 一書中, 作者稱之為離弦之箭. 什麼意思呢, 就是mongodb的插入,刪除等操作, 客戶端向資料庫發出請求之後, 是不需要等待資料庫返回操作是否成功的返回結果. 這也是mongodb插入,更新等操作速度快的原因. 這就導致, 當單個檔案超過16M之後, 程式並不會報錯, 但此時, 資料已經無法插入資料庫了.

上程式碼說明問題:

<span style="font-size:18px;">__author__ = 'ray'

import pymongo
import codecs

def mongo_test():

    fin = codecs.open('test_data.txt', 'r', encoding='UTF-8')   # test_data是一個測試檔案, 檔案大小為1.1M
    count = 0  
    test.insert({'name': 'test', 'max': 0})   
    line = fin.readline()
    try:
        while count < 20:
            test.update({'name': 'test'}, {'$set': {str(count): line}})   # 迴圈中每次插入1.1M的資料
            test.update({'name': 'test'}, {'$inc': {'max': 1}}, True)    
            count += 1
    except Exception as e:
        print count, e
    fin.close()


if __name__ == '__main__':
    client = pymongo.Connection('localhost', 27017)
    conn = client.db_wallpaper
    test = conn.test
    mongo_test()</span>
 

程式並無異常, 此時檢視資料庫結果如下:

其實只插入了14條記錄, 這種隱形的錯誤很難被發現. 

有一種策略可以及時發現這個錯誤, 那就是使用安全驗證, 程式碼很簡單, 把

client = pymongo.Connection('localhost', 27017)  ==>> client = pymongo.Connection('localhost', 27017,safe=True)

這樣就會有安全驗證, 每一次插入會等待上一次的返回結果, 後果就是犧牲mongodb的操作效能. 更新後的結果如下:

而在資料庫中, max的值顯示為15, 也就是後續的操作就終止了. 

===========================分割線==================================

 很多使用了mongodb的程式設計師會對此表示不滿, 認為這樣的設計非常不方便, 因為我們早已經進入了用G, T來衡量資料的時代, 這16M能幹什麼.  不過按照mongodb的設計思路來看, 這樣的限制其實是有助於我們更改不良的資料庫結構設計, 因為筆者在shell中做查詢時, 面對16M的文件, 查詢起來相當慢, 這樣的速度是不能夠忍受的. 

解決辦法:

1: 更改資料表結構, 避免單個文件超過16M, 將資料分開儲存, 反正mongodb也比較適合用冗餘換取效率. 不妨在同一個集合中多建立幾個文件, 分開儲存資訊

2: 使用GridFS儲存大資料量資訊, 具體怎麼做, 下次再說.

如有問題, 歡迎討論指正.

完