1. 程式人生 > >Elasticsearch學習之深入搜索五 --- phrase matching搜索技術

Elasticsearch學習之深入搜索五 --- phrase matching搜索技術

size 才會 匹配 rms blog 文本 mit base 舉例

1. 近似匹配

什麽是近似匹配,兩個句子

java is my favourite programming language, and I also think spark is a very good big data system.
java spark are very related, because scala is spark‘s programming language and scala is also based on jvm like java.

match query,搜索java spark

{
    "match": {
        "content": "java spark
" } }

  match query,只能搜索到包含java和spark的document,但是不知道java和spark是不是離的很近,包含java或包含spark,或包含java和spark的doc,都會被返回回來。我們其實並不知道哪個doc,java和spark距離的比較近。如果我們就是希望搜索java spark,中間不能插入任何其他的字符,那這個時候match去做全文檢索,能搞定我們的需求嗎?答案是,搞不定。

  如果我們要盡量讓java和spark離的很近的document優先返回,要給它一個更高的relevance score,這就涉及到了proximity match,近似匹配

如果說,要實現兩個需求:

(1)java spark,就靠在一起,中間不能插入任何其他字符,就要搜索出來這種doc
(2)java spark,但是要求,java和spark兩個單詞靠的越近,doc的分數越高,排名越靠前

要實現上述兩個需求,用match做全文檢索,是搞不定的,必須得用proximity match,近似匹配

phrase match,proximity match:短語匹配,近似匹配

  phrase match,就是僅僅搜索出java和spark靠在一起的那些doc,比如有個doc,是java use‘d spark,不行。必須是比如java spark are very good friends,是可以搜索出來的。phrase match,就是要去將多個term作為一個短語,一起去搜索,只有包含這個短語的doc才會作為結果返回。不像是match,java spark,java的doc也會返回,spark的doc也會返回,

match_phrase語法

GET /forum/article/_search
{
    "query": {
        "match_phrase": {
            "content": "java spark"
        }
    }
}

2. term position

hello world, java spark doc1
hi, spark java doc2

hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)

了解什麽是分詞後的position

GET _analyze
{
    "text": "hello world, java spark",
    "analyzer": "standard"
}

3. match_phrase的基本原理

索引中的position,match_phrase

hello world, java spark    doc1
hi, spark java    doc2

hello doc1(0)
wolrd doc1(1)
java doc1(2) doc2(2)
spark doc1(3) doc2(1)

java spark --> match phrase

java spark --> java和spark

java --> doc1(2) doc2(2)
spark --> doc1(3) doc2(1)

要找到每個term都在的一個共有的那些doc,就是要求一個doc,必須包含每個term,才能拿出來繼續計算

doc1 --> java和spark --> spark position恰巧比java大1 --> java的position是2,spark的position是3,恰好滿足條件

doc1符合條件

doc2 --> java和spark --> java position是2,spark position是1,spark position比java position小1,而不是大於1 --> 光是position就不滿足,那麽doc2不匹配

4. slop

slop的含義是什麽?

  query string,搜索文本,中的幾個term,要經過幾次移動才能與一個document匹配,這個移動的次數,就是slop,實際舉例,一個query string經過幾次移動之後可以匹配到一個document,然後設置slop

hello world, java is very good, spark is also very good.

java spark,match phrase,搜不到

如果我們指定了slop,那麽就允許java spark進行移動,來嘗試與doc進行匹配

java   is     very   good   spark   is

java   spark
java    -->    spark
java         -->   spark
java             -->   spark

這裏的slop,就是3,因為java spark這個短語,spark移動了3次,就可以跟一個doc匹配上了

slop的含義,不僅僅是說一個query string terms移動幾次,跟一個doc匹配上。一個query string terms,最多可以移動幾次去嘗試跟一個doc匹配上

slop,設置的是3,那麽就ok

GET /forum/article/_search
{
   "query": {
    "match_phrase": {
      "title": {
        "query": "java spark",
        "slop": 3
      }
    }
  }
}

  就可以把剛才那個doc匹配上,那個doc會作為結果返回,但是如果slop設置的是2,那麽java spark,spark最多只能移動2次,此時跟doc是匹配不上的,那個doc是不會作為結果返回的,其實,加了slop的phrase match,就是proximity match,近似匹配

Elasticsearch學習之深入搜索五 --- phrase matching搜索技術