對於logstash解析大批量資料並傳輸到elasticsearch中的過程簡單進行一些資料的測試，條件4G記憶體，logstash中配置index.refresh_interval=5s，（這個資料是es索引重新整理速率，就是資料傳輸到es中，es不會實時展示，延遲五秒，一般來說es配置1s），index.refresh_interval的增加可以較大提高插入資料的效率，特別的，可以將其改為-1，等到大批量資料匯入完成後，再改回去

    這裡有幾個優化logstash、elasticsearch的部落格，連線掛在最後啦。

    標準方法：

input {
    generator {
        count => 10000000
        message => '{"key1":"value1","key2":[1,2],"key3":{"subkey1":"subvalue1"}}'
        codec => json
    }
}
 

$ time ./bin/logstash -f generator_null.conf

output {
    stdout {
        codec => dots
    }
}

下面就要介紹 pv 命令了。這個命令的作用，就是作實時的標準輸入、標準輸出監控。我們這裡就用它來監控標準輸出：

$ ./bin/logstash -f generator_dots.conf | pv -abt > /dev/null
 

但是在Centos上面過 yum 安裝的 pv 命令，版本較低，可能還不支援 -a 引數（我用的centos7，已經完全沒有pv命令了）

   我的實際測試：

     測試elastic的流程：複製檔案到指定位置，logstahs先啟動後會不斷檢測並傳輸到es

    最終測試結果:
一份168條文件，2mb，複製50次
最終是8400份資料，沒有錯誤
9:25 -- 9：25         200條/s(左右？)    一條日誌36000字元
order by log_json_content.trace.linenumber 1s不到，很快
group by linenumber 0,50,100,150  1s不到，很快
分詞器全文檢索(en?) 1s不到，很快   type=matchQuery('ERRor')  （'error'）  1s不到，很快

一份168條文件，2mb，複製100次
最終是16800份資料，沒有錯誤
10:27 -- 10：28      1分10s   240條/s(可能sql不斷查詢還耽誤了點時間)  一條日誌36000字元
order by log_json_content.trace.linenumber 1s不到，很快
group by linenumber 0,50,100,150  1s不到，很快
type=matchQuery('ERRor')  （'error'）  1s不到，很快

附上覆制系統自帶的日誌資料到指定位置的shell程式碼，很簡單（大神見笑）

#!/bin/bash   
file_in_Name="/home/cuixuange/Public/elk/syslog"  
cd /home/cuixuange/Public/elk/test_log

for i in $(seq 1 50)
do
    name=$(printf shell_%02d.log $i)
    touch  $name

    while read line  
    do  
        echo $line >>$name
    done < $file_in_Name 

    chmod -R 777 /home/cuixuange/Public/elk/test_log/$name
    sleep 0.1s

done

注意：ubuntu日誌資料中的日期空格應該是tab隔開的，因為同樣的資料在centos系統中發現長度就不一樣，會使得logstash中的即將使用的conf檔案中grok解析會出現問題（所以要注意到統一的問題，空格是空格，tab是tab）

下面把；logstash解析ubuntu syslog 的conf檔案放上來吧

input { 
  file{
    path => ["/home/cuixuange/Public/elk/test_log/*.log"]
    start_position=>"beginning"

   #  discover_interval => 15
   #  stat_interval => 1
   #  sincedb_write_interval => 15
   } 
}

filter{
  grok{
    match=>{ "message" => "(?m)%{SYSLOGTIMESTAMP:timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" 
           }
  }

  date {
    match => [ "timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss"  ]
   # locale => "en"
   # timezone=>"+00:00"
    remove_field => [ "timestamp"]
   }


}

output {
     elasticsearch {
         host => "192.168.88.130"
     #    index => "logstash-shell-%{+2016.MMM.dd}"   #logstash-* to find
    #    index => "logstash-shell"
     #    protocol => transport
         workers =>5
         template_overwrite =>true
  }
}

還有一開始說的es，logstash的優化問題：