2. 程式人生 > >ElasticSearch最佳入門實踐（三十九）倒排索引核心原理揭祕

ElasticSearch最佳入門實踐（三十九）倒排索引核心原理揭祕

阿新 • • 發佈：2018-11-07

1、例子，兩段文字

doc1：I really liked my small dogs, and I think my mom also liked them

doc2：He never liked any dogs, so I hope that my mom will not expect me to liked him.

2、初步的倒排索引的建立

演示倒排索引最簡單的建立的一個過程

work doc1 doc2
I * *
really *
liked * *
my * *
small *
dogs *
and *
think *
mom * *
also *
them *
He *
never *
any *
so *
hope *
that *
will *
not *
expect *
me *
to *
him *

搜尋
mother like little dog，不可能有任何結果
mother
like
little
dog

這個是不是我們想要的搜尋結果？？？絕對不是，因為在我們看來，mother和mom有區別嗎？同義詞，都是媽媽的意思。like和liked有區別嗎？沒有，都是喜歡的意思，只不過一個是現在時，一個是過去時。little和small有區別嗎？同義詞，都是小小的。dog和dogs有區別嗎？狗，只不過一個是單數，一個是複數。

normalization，建立倒排索引的時候，會執行一個操作，也就是說對拆分出的各個單詞進行相應的處理，以提升後面搜尋的時候能夠搜尋到相關聯的文件的概率
時態的轉換，單複數的轉換，同義詞的轉換，大小寫的轉換
mom —> mother
liked —> like
small —> little
dogs —> dog

3、重新建立倒排索引，加入normalization，再次用mother liked little dog搜尋，就可以搜尋到了

work doc1 doc2
I * *
really *
like * *
my * *
little *
dog *
and *
think *
mom * *
also *
them *
He *
never *
any *
so *
hope *
that *
will *
not *
expect *
me *
to *
him *

mother like little dog，分詞，normalization
mother --> mom
like --> like
little --> little
dog --> dog
doc1和doc2都會搜尋出來

相關推薦

ElasticSearch最佳入門實踐（三十九）倒排索引核心原理揭祕

1、例子，兩段文字 doc1：I really liked my small dogs, and I think my mom also liked them doc2：He never liked any dogs, so I hope that my m

ElasticSearch最佳入門實踐（二十九）document增刪改內部原理揭祕

步驟 （1）客戶端選擇一個node傳送請求過去，這個node就是coordinating node（協調節點） （2）coordinating node，對document進行路由，將請求轉發給對應的node（有primary shard） （3）實際的node上的prima

ElasticSearch最佳入門實踐（六十六）倒排索引組成結構以及其索引可變原因

倒排索引，是適合用於進行搜尋的 倒排索引的結構 （1）包含這個關鍵詞的document list （2）包含這個關鍵詞的所有document的數量：IDF（inverse document frequency） （3）這個關鍵詞在每個document中出現的次數：TF（ter

ElasticSearch最佳入門實踐（三十八）精確匹配與全文搜尋的對比分析

1、ES中的兩種搜尋模式 1、exact value 2、full text 2、exact value 2017-01-01，exact value，搜尋的時候，必須輸入2017-01-01，才能搜尋出來。如果你輸入一個01，是搜尋不

ElasticSearch最佳入門實踐（三十七）用一個例子告訴你 mapping 到底是什麼

1、插入幾條資料 PUT /website/article/1 { "post_date": "2017-01-01", "title": "my first article", "content": "this is my first article in this w

ElasticSearch最佳入門實踐（三十六）query string search 語法以及 _all metadata 原理揭祕

1、query string基礎語法 GET /test_index/test_type/_search?q=test_field:test GET /test_index/test_type/_search?q=+test_field:test

ElasticSearch最佳入門實踐（三十五）分頁搜尋以及deep paging效能問題深度揭祕

1、如何使用es進行分頁搜尋的語法 size，from GET /_search?size=10 GET /_search?size=10&from=0 GET /_search?size=10&from=20 假設將這6條資料分成3頁，每一頁是2

ElasticSearch最佳入門實踐（三十四）multi-index & multi-type 搜尋模式解析以及搜尋原理解析

1、multi-index 和 multi-type 搜尋模式 告訴你如何一次性搜尋多個 index 和多個 type 下的資料 /_search：所有索引，所有type下的所有資料都搜尋出來 /index1/_search：指定一個ind

ElasticSearch最佳入門實踐（三十二）bulk api的奇特json格式與底層效能優化關係揭祕

1、bulk api奇特的json格式 {"action": {"meta"}}\n {"data"}\n {"action": {"meta"}}\n {"data"}\n 2、bulk中的每個操作都可能要轉發到不同的node的shard去執行 3、如果採用比較良好的js

ElasticSearch最佳入門實踐（三十一）document查詢內部原理揭祕

1、客戶端傳送請求到任意一個node，成為coordinate node 對於讀請求，不一定所有的請求都發送的primary shard 上去，也可以轉發到replied shard 上去，因為replied shard 也是可以服務所有讀請求的 2、coordin

ElasticSearch最佳入門實踐（六十九）優化寫入流程實現durability可靠儲存（translog，flush）

（1）資料寫入buffer緩衝和translog日誌檔案 （2）每隔一秒鐘，buffer中的資料被寫入新的segment file，並進入os cache，此時segment被開啟並供search使用 （3）buffer被清空 （4）重複1~3，新的segment不斷新增，buf

ElasticSearch最佳入門實踐（四十九）各種query搜尋語法

1、match all 查詢所有 GET /_search { "query": { "match_all": {} } } 2、match 匹配某一個filed是否包含文字 GET /_search {

ElasticSearch最佳入門實踐（五十九）基於scoll技術滾動搜尋大量資料

如果一次性要查出來比如10萬條資料，那麼效能會很差，此時一般會採取用scoll滾動查詢，一批一批的查，直到所有資料都查詢完處理完 使用scoll滾動搜尋，可以先搜尋一批資料，然後下次再搜尋一批資料，以此類推，直到搜尋出全部的資料來 scoll搜尋會在第一次搜尋的

ElasticSearch最佳入門實踐（二十八）剖析document資料路由原理

1、document路由到shard上是什麼意思？ 我們這段，一個index的資料會被分為多片，每個片都在一個shard中，所以說，一個document存在於一個shard中 當客戶端建立的時候，es此時就需要決定說，這個document存在於那個shard上。 這個過程就稱

ElasticSearch最佳入門實踐（三十）寫一致性原理以及quorum機制深入剖析

1、consistency，one（primary shard），all（all shard），quorum（default） 我們在傳送任何一個增刪改操作的時候，比如說put /index/type/id，都可以帶上一個consistency引數，指明我們想要的寫一致性是什

ElasticSearch最佳入門實踐（四十二）什麼是mapping再次回爐透徹理解

（1）往es裡面直接插入資料，es會自動建立索引，同時建立type以及對應的mapping （2）mapping中就自動定義了每個field的資料型別 （3）不同的資料型別（比如說text和date），可能有的是exact value，有的是full text （4）exac

ElasticSearch最佳入門實踐（四十一）query string 的分詞以及 mapping 引入案例遺留問題的大揭祕

1、query string分詞 query string必須以和index建立時相同的analyzer進行分詞 query string對exact value和full text的區別對待 date：exact value _all：full text

ElasticSearch最佳入門實踐（二十五）mget批量查詢api

1、批量查詢的好處 就是一條一條的查詢，比如說要查詢100條資料，那麼就要傳送100次網路請求，這個開銷還是很大的 如果進行批量查詢的話，查詢100條資料，就只要傳送1次網路請求，網路請求的效能開銷縮減100倍 2、mget的語法 可以說mget是很重要

ElasticSearch最佳入門實踐（二十四）partial update樂觀鎖併發控制原理以及相關操作

（1）partial update內建樂觀鎖併發控制 partial update內部是自動執行之前所說的樂觀鎖的併發控制方案 兩個執行緒 都拿到了document資料和_version 使用傳過來的field更新document 執行緒B也在做partial update

ElasticSearch最佳入門實踐（二十七）總結以及什麼是distributed document store

1、總結 快速入門了一下，最基本的原理，最基本的操作 在入門之後，對ES的分散式的基本原理，進行了相對深入一些的剖析 圍繞著document這個東西，進行操作，進行講解和分析 2、什麼是distributed document s