1. 程式人生 > >MongoDB 查詢超時異常的原因及解決辦法

MongoDB 查詢超時異常的原因及解決辦法

在對超過百萬條記錄的集合進行聚合操作時,偶爾會發生Read timed out 異常,本文分析了ConnectionTimeOut和SocketTimeOut的區別,並提出該問題的解決辦法。

在對超過百萬條記錄的集合進行聚合操作。

  1. DBObject match=(DBObject)JSON.parse("{$match:{logType:{'$in':[5,9]}}}"); 
  2. DBObject group=(DBObject)JSON.parse("{$group:{'_id':'$domainUrl','count':{'$sum':1}}}"); 
  3. AggregationOutput output = logCollection.aggregate(match,group); 

偶爾會發生Read timed out 異常。

  1. com.mongodb.MongoException$Network: Read operation to server /192.168.10.202:27017 failed on database adLogTable 
  2. at com.mongodb.DBTCPConnector.innerCall(DBTCPConnector.java:253
  3. at com.mongodb.DB.command(DB.java:261
  4. at com.mongodb.DB.command(DB.java:243) ... 
  5. Caused by: java.net.SocketTimeoutException: Read timed out 
  6. at java.net.SocketInputStream.socketRead0(Native Method) 
  7. at java.net.SocketInputStream.read(SocketInputStream.java:152

通過多次測試,發現執行一次聚合平均時間為5s,超過5s時就會報錯!

然後檢視MongoDB的配置資訊:

  1. socket-timeout="5000"//5s

socket-timeout的預設配置為0,也就是沒有限制。

沒有超時限制,系統出了問題也不容易發現,應該根據實際情況,給出合理的超時時間。

通過多次測試發現最長執行時間為6秒,就把超時時間設定成了10000。

  1. socket-timeout=
    "10000"//10s

注意:MongoDB在與Spring整合時,如果要配置多個MongDB源,只會啟用最後一個<mongo:options>配置。

應該把引數配置資訊儲存在properties檔案中。

  1. <mongo:mongo host="${mongodb.ip}" id="mongo202" port="${mongodb.port}"
  2. <mongo:options connections-per-host="200"
  3. threads-allowed-to-block-for-connection-multiplier="100"
  4. connect-timeout="1000"
  5. max-wait-time="1000"
  6. auto-connect-retry="true"
  7. socket-keep-alive="true"
  8. socket-timeout="10000"
  9. slave-ok="true"
  10. write-number="1"
  11. write-timeout="0"
  12. write-fsync="true" /> 
  13. </mongo:mongo> 

通過Java API獲取配置引數

  1. DBCollection logCollection = mongoTemplate.getCollection(collName); 
  2. MongoOptions mongoOptions = logCollection.getDB().getMongo().getMongoOptions(); 
  3. System.out.println(mongoOptions.getSocketTimeout()); 

最後一點: ConnectionTimeOut和SocketTimeOut的區別:

一次完整的請求包括三個階段:

  • 建立連線
  • 資料傳輸
  • 斷開連線

如果與伺服器(這裡指資料庫)請求建立連線的時間超過ConnectionTimeOut,就會拋 ConnectionTimeOutException,即伺服器連線超時,沒有在規定的時間內建立連線。

如果與伺服器連線成功,就開始資料傳輸了。

如果伺服器處理資料用時過長,超過了SocketTimeOut,就會丟擲SocketTimeOutExceptin,即伺服器響應超時,伺服器沒有在規定的時間內返回給客戶端資料。