1. Elasticsearch Updates

1.1 公布了Kibana 4 Beta 1 和Beta 1.1

Kibana 4不管是在界面的布局，使用配置方法，還是底層繪制圖表的方式都與Kibana不同。

在Kibana 3的基礎上吸取了眾多社區的功能需求後。Kibana自Kibana 2 大改造成Kibana 3 後第二次做出了重大改變。Kibana真是一直致力於幫助用戶解決他們在數據可視化上的棘手問題。

界面由原來的一個`Dashboard`。改為如今的`Discover`, `Visualize`, `Dashboard`三個Tab，再加上`Settings`總共4個不同的Tab。

Discover : 這個Tab的界面是不是與曾經的Kibana 2 非常像？面向index的查詢，即搜索index內容。

搜索框中能夠輸入`Lucene Query String syntax`或者es的`json格式的query`,並且如今query不在只屬於某個dashboard。如今是全局共享的,並且能夠通過URL傳入，鏈接到某個query變得非常easy.

Visualize : 能夠使用es的`aggregations`做邏輯復雜多樣化的圖表。(kibana3使用的es的facet,aggregations比它功能多，更復雜)。點擊visualize底部的灰色能夠直接看到圖表的原始數據，request,response和請求處理時間等相關統計。

Dashboard : Dashboard還是用來創建一個圖表集的，滿足特定的一類可視化需求，可是它比曾經更easy配置和維護。

顯而易見，Kibana 4大大添加了圖表和query的可重用性。在Visualize中創建的圖表能夠在Dashboard中重用多次。如今。一個Dashboard還能夠展示多個index的數據。

Settings : kibana的一些全局設置

註意：Kibana 3與Kibana 4的schema不兼容，Kibana 3的配置不能導入到Kibana 4中。Kibana 4須要Elasticsearch的版本號 >= 1.4.0

1.2 公布了Elasticsearch 1.4.0.Beta1

這個版本號的主要在穩定性和可靠性上做了改進。

1.2.1 Better node stability through reduced memory usage.

對近期引入的doc value機制做了大幅改進，用來替換原來的in memory fielddata。doc value是原來存在內存中用來做聚合，統計，查詢的字段的值存在磁盤上，利用 系統內核的filesystem cache來加速對doc value的訪問，使性能接近原來的fielddata。

添加了對處理單個請求可占用的內存的限制(request circuit breaker)。

1.2.2 Better cluster stability through improved discovery algorithms.

修復了諸多用戶在生產環境中遇到的集群不穩定的問題。

並在resiliency status具體列出了用戶提交的相關問題及它們的修復進度和在生產環境中保護數據的措施。

1.2.3 Better detection of corrupted data through checksums.

在shard recovery, merging, transaction log等多處增加Checksums 驗證功能來驗證數據是否損壞。

1.2.4 其它主要更新

groovy替換了mvel成為ES默認的腳本語言來提高安全性和執行效率。
處於安全性考慮，跨域訪問改為默認關閉。

新增了3種aggregations類型：filters,children ,scripted_metric 。

隨著ES中集成的Lucene版本號的不斷更新。以後的ES版本號中將逐漸不在支持Lucene 3.x的index,所以ES新增了your_index/_upgrade REST API用以將老舊的index轉換為兼容最新Lucene的index.

2. Elasticsearch Ecosystem Updates

2.1 公布了Elasticsearch Hadoop 2.0.2 and 2.1.Beta2

3. Amazing Slides & tutorials & videos

playing http tricks with nginx

使用nginx來做es的proxy,提供持久http鏈接，load balance, security control（basic http auth, role based auth,oauth)功能

鏈接：http://www.elasticsearch.org/blog/playing-http-tricks-nginx/

deploying the ELK stack using Docker

用時下流行的app容器docker部署ELK

鏈接：https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/

Elasticsearch from the Top Down Tracing a Request Down to the Bits

從Elasticsearch實現底層討論了ES集群處理index ,query請求的過程。

鏈接：https://found.no/foundation/elasticsearch-top-down/

Building Scalable Search from Scratch with ElasticSearch

一個基礎具體的tutorial

鏈接：http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality

4. Meetups in China

10月25日，第三屆elasticsearch國內開發人員交流大會。具體信息：http://www.meetup.com/Elasticsearch-China-Users/events/210253352/。
大會PPT下載：http://pan.baidu.com/s/1i3qsoBF

References:

[1]: http://www.elasticsearch.org/blog/kibana-4-beta-1-released/ "Kibana 4 Beta 1 released"
[2]: http://www.elasticsearch.org/blog/kibana-4-beta-1-1-pointy-needles-blunted/ "kibana 4 beta 1.1: pointy needles blunted "
[3]: http://www.elasticsearch.org/blog/elasticsearch-1-4-0-beta-released/ "Elasticsearch 1.4.0.Beta1 released"
[4]: http://www.elasticsearch.org/guide/en/elasticsearch/resiliency/current/index.html "resiliency status"
[5]: http://www.elasticsearch.org/blog/scripting/ "all about scripting"
[6]: http://www.elasticsearch.org/blog/elasticsearch-hadoop-2-0-2-and-2-1-beta2/ "Elasticsearch Hadoop 2.0.2 and 2.1.Beta2 released"
[7]: http://www.elasticsearch.org/blog/2014-10-08-this-week-in-elasticsearch/ "This week in Elasticsearch October 8, 2014"
[8]: http://www.elasticsearch.org/blog/2014-10-15-this-week-in-elasticsearch/ "This week in Elasticsearch October 15, 2014"
[9]: http://www.elasticsearch.org/blog/2014-10-22-this-week-in-elasticsearch/ "This Week in ElasticsearchOctober 22, 2014"
[10]: http://www.elasticsearch.org/blog/2014-10-29-this-week-in-elasticsearch/ "This week in ElasticsearchOctober 29, 2014"
[11]: http://www.elasticsearch.org/blog/playing-http-tricks-nginx/ "playing http tricks with nginx"
[12]: https://clusterhq.com/blog/deploying-multi-node-elasticsearch-logstash-kibana-cluster-using-docker/ "deploying the ELK stack using Docker"
[13]: https://found.no/foundation/elasticsearch-top-down/ "Elasticsearch from the Top Down Tracing a Request Down to the Bits"
[14]: http://www.airpair.com/elasticsearch/posts/elasticsearch-robust-search-functionality "Building Scalable Search from Scratch with ElasticSearch"

轉載本文請註明作者和出處[Gary的影響力]http://garyelephant.me，請勿用於不論什麽商業用途！
Author: Gary Gao( garygaowork[at]gmail.com) 關註互聯網、分布式、高性能、NoSQL、自己主動化、軟件團隊

Elasticsearch 2014年10月簡報