ElasticSearch最佳入門實踐（七十）優化寫入流程實現海量磁碟檔案合併（segment merge，optimize）
每秒一個segment file，檔案過多，而且每次search都要搜尋所有的segment，很耗時
預設會在後臺執行segment merge操作，在merge的時候，被標記為deleted的document也會被徹底物理刪除
每次merge操作的執行流程
（1）選擇一些有相似大小的segment，merge成一個大的segment
（2）將新的segment flush到磁碟上去
（3）寫一個新的commit point，包括了新的segment，並且排除舊的那些segment
（4）將新的segment開啟供搜尋
（5）將舊的segment刪除
POST /my_index/_optimize?max_num_segments=1，儘量不要手動執行，讓它自動預設執行就可以了
相關推薦
ElasticSearch最佳入門實踐（七十）優化寫入流程實現海量磁碟檔案合併（segment merge，optimize）
每秒一個segment file，檔案過多，而且每次search都要搜尋所有的segment，很耗時 預設會在後臺執行segment merge操作，在merge的時候，被標記為deleted的document也會被徹底物理刪除 每次merge
ElasticSearch最佳入門實踐（六十九）優化寫入流程實現durability可靠儲存（translog，flush）
（1）資料寫入buffer緩衝和translog日誌檔案 （2）每隔一秒鐘，buffer中的資料被寫入新的segment file，並進入os cache，此時segment被開啟並供search使用 （3）buffer被清空 （4）重複1~3，新的segment不斷新增，buf
ElasticSearch最佳入門實踐（六十八）優化寫入流程實現NRT近實時（filesystem cache，refresh）
現有流程的問題，每次都必須等待fsync將segment刷入磁碟，才能將segment開啟供search使用，這樣的話，從一個document寫入，到它可以被搜尋，可能會超過1分鐘！！！這就不是近實時的搜尋了！！！主要瓶頸在於fsync實際發生磁碟IO寫資料進磁碟，是很耗時的。
ElasticSearch最佳入門實踐（三十七）用一個例子告訴你 mapping 到底是什麼
1、插入幾條資料 PUT /website/article/1 { "post_date": "2017-01-01", "title": "my first article", "content": "this is my first article in this w
ElasticSearch最佳入門實踐（二十七）總結以及什麼是distributed document store
1、總結 快速入門了一下，最基本的原理，最基本的操作 在入門之後，對ES的分散式的基本原理，進行了相對深入一些的剖析 圍繞著document這個東西，進行操作，進行講解和分析 2、什麼是distributed document s
ElasticSearch最佳入門實踐（七十二）Java 實戰 - 對員工資訊進行復雜的搜尋操作
需求： （1）搜尋職位中包含technique的員工 （2）同時要求age在30到40歲之間 （3）分頁查詢，查詢第一頁 1、構建員工資訊 public class EmployeeSearchApp { public static void main
ElasticSearch最佳入門實踐（五十七）分散式搜尋引擎核心解密之fetch phase
1、fetch phbase工作流程 （1）coordinate node構建完priority queue之後，就傳送mget請求去所有shard上獲取對應的document （2）各個shard將document返回給coordinate node
ElasticSearch最佳入門實踐（六十七）document寫入原理（buffer，segment，commit）
（1）資料寫入buffer （2）commit point （3）buffer中的資料寫入新的index segment （4）等待在os cache中的index segment被fsync強制刷到磁碟上 （5）新的index sgement被開啟，供search使用 （6）b
ElasticSearch最佳入門實踐（四十七）query DSL搜尋語法
1、一個例子讓你明白什麼是Query DSL GET /_search { "query": { "match_all": {} } } 2、Query DSL的基本語
ElasticSearch最佳入門實踐（七十二）Java 實戰
需求： （1）搜尋職位中包含technique的員工 （2）同時要求age在30到40歲之間 （3）分頁查詢，查詢第一頁 1、構建員工資訊 public class EmployeeSearchApp { public static void ma
ElasticSearch最佳入門實踐（十一）分散式原理 橫向擴容過程，如何超出擴容極限，以及如何提升容錯性
（1）primary&replica自動負載均衡，6個shard，3 primary，3 replica （2）每個node有更少的shard，IO/CPU/Memory資源給每個shard分配更多，每個shard效能更好 （3）擴容的極限，6個shard（3 prima
ElasticSearch最佳入門實踐（四十二）什麼是mapping再次回爐透徹理解
（1）往es裡面直接插入資料，es會自動建立索引，同時建立type以及對應的mapping （2）mapping中就自動定義了每個field的資料型別 （3）不同的資料型別（比如說text和date），可能有的是exact value，有的是full text （4）exac
ElasticSearch最佳入門實踐（四十一）query string 的分詞以及 mapping 引入案例遺留問題的大揭祕
1、query string分詞 query string必須以和index建立時相同的analyzer進行分詞 query string對exact value和full text的區別對待 date：exact value _all：full text
ElasticSearch最佳入門實踐（四十）分詞器的內部組成到底是什麼，以及內建分詞器的介紹
1、什麼是分詞器 一個分詞器，很重要，將一段文字進行各種處理，最後處理好的結果才會拿去建立倒排索引 切分詞語，normalization（提升recall召回率） 給你一段句子，然後將這段句子拆分成一個一個的單個的單詞，同時對每個單詞進行normalizat
ElasticSearch最佳入門實踐（三十九）倒排索引核心原理揭祕
1、例子，兩段文字 doc1：I really liked my small dogs, and I think my mom also liked them doc2：He never liked any dogs, so I hope that my m
ElasticSearch最佳入門實踐（三十八）精確匹配與全文搜尋的對比分析
1、ES中的兩種搜尋模式 1、exact value 2、full text 2、exact value 2017-01-01，exact value，搜尋的時候，必須輸入2017-01-01，才能搜尋出來。如果你輸入一個01，是搜尋不
ElasticSearch最佳入門實踐（三十六）query string search 語法以及 _all metadata 原理揭祕
1、query string基礎語法 GET /test_index/test_type/_search?q=test_field:test GET /test_index/test_type/_search?q=+test_field:test
ElasticSearch最佳入門實踐（三十五）分頁搜尋以及deep paging效能問題深度揭祕
1、如何使用es進行分頁搜尋的語法 size，from GET /_search?size=10 GET /_search?size=10&from=0 GET /_search?size=10&from=20 假設將這6條資料分成3頁，每一頁是2
ElasticSearch最佳入門實踐（三十四）multi-index & multi-type 搜尋模式解析以及搜尋原理解析
1、multi-index 和 multi-type 搜尋模式 告訴你如何一次性搜尋多個 index 和多個 type 下的資料 /_search：所有索引，所有type下的所有資料都搜尋出來 /index1/_search：指定一個ind
ElasticSearch最佳入門實踐（三十二）bulk api的奇特json格式與底層效能優化關係揭祕
1、bulk api奇特的json格式 {"action": {"meta"}}\n {"data"}\n {"action": {"meta"}}\n {"data"}\n 2、bulk中的每個操作都可能要轉發到不同的node的shard去執行 3、如果採用比較良好的js