1. 程式人生 > >Storm效能簡單測試

Storm效能簡單測試

看了很多關於Storm效能的文章,說法不一,自己根據實際業務測一下是否能滿足自身要求(只做了簡單叢集和程式碼調優)

  • 場景:kafka消費資料標準化後儲存到Hbase中 
  • 伺服器資源:

      兩臺32G記憶體做Supervisor

  • 使用資源

平均處理資料速度  13000 條/秒,可以滿足業務需求,ok

 

  • Storm引數 
        conf.setNumWorkers(10);  
		conf.put(Config.TOPOLOGY_MAX_SPOUT_PENDING, 1024);
		conf.put(Config.TOPOLOGY_EXECUTOR_RECEIVE_BUFFER_SIZE,16384);
		conf.put(Config.TOPOLOGY_EXECUTOR_SEND_BUFFER_SIZE,16384);
		conf.put(Config.TOPOLOGY_TRANSFER_BUFFER_SIZE,32);
		conf.put(Config.TOPOLOGY_MESSAGE_TIMEOUT_SECS, 300);