優化索引建立

一、_all

all欄位是把所有其它欄位中的值，以空格為分隔符組成一個大字串，然後被分析和索引，但是不儲存，也就是說它能被查詢，但不能被取回顯示。
_all欄位預設是關閉的，如果要開啟_all欄位，索引增大是不言而喻的。_all欄位開啟適用於不指定搜尋某一個欄位，根據關鍵詞，搜尋整個文件內容。

開啟_all欄位的方法,mapping中的配置如下:

//開啟_all
{
   "yourtype": {
      "_all": {
         "enabled": true
      },
      "properties": {
            ... 
      }
   }
}

//通過在欄位中指定某個欄位是否包含在_all中
 

{
   "yourtype": {
      "properties": {
         "field1": {
             "type": "string",
             "include_in_all": false
          },
          "field2": {
             "type": "string",
             "include_in_all": true
          }
      }
   }
}

如果要把欄位原始值儲存，要設定store屬性為true，這樣索引會更大，需要根據需求使用。下面給出測試程式碼。

//設定mapping，這裡設定所有欄位都儲存在_all中並且儲存原始值
PUT test/test/_mapping
{
   "test": {
      "_all": {
         "enabled": true,
         "store": true
      }
   }
}

//插入文件
POST test/test/1
{
    "title":"我是中國人",
    "content":"熱愛共產黨"
}

//對_all欄位進行搜尋並高亮
POST test/_search
{
   "fields": ["_all"], 
   "query": {
      "match"
 
: {
         "_all": "中國人"
      }
   },
   "highlight": {
      "fields": {
         "_all": {}
      }
   }
}

//返回結果
{
   "took": 3,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 1,
      "max_score": 0.15342641,
      "hits": [
         {
            "_index": "test",
            "_type": "test",
            "_id": "1",
            "_score": 0.15342641,
            "_all": "我是中國人 熱愛共產黨 ",
            "highlight": {
               "_all": [
                  "我是<em>中國人</em> 熱愛共產黨 "
               ]
            }
         }
      ]
   }
}

//Elasticsearch中的query_string和simple_query_string預設就是查詢_all欄位
GET test/_search
{
    "query": {
        "query_string": {
           "query": "共產黨"
        }
    }
}

與此同時，_all能讓你在不知道要查詢的內容是屬於哪個具體欄位的情況下進行搜尋，例如：

PUT my_index/user/1 
{
  "first_name":    "John",
  "last_name":     "Smith",
  "date_of_birth": "1970-10-24"
}

GET my_index/_search
{
  "query": {
    "match": {
      "_all": "john smith 1970"
    }
  }
}

_all欄位的內容為：”john smith 1970 10 24”

_all欄位其實就是一個字串型別的欄位，與其它普通字串欄位有相同的引數，包括：analyzer, term_vectors, index_options, and store。

_all欄位在查詢時佔用更多的CPU和佔用更多的磁碟空間，如果確實不需要它可以完全的關閉它或者基於每欄位定製。

二、_source

_source欄位預設是儲存的， 什麼情況下不用保_source欄位？如果某個欄位內容非常多，業務裡面只需要能對該欄位進行搜尋，最後返回文件id，檢視文件內容會再次到mysql或者hbase中取資料，把大欄位的內容存在Elasticsearch中只會增大索引，這一點文件數量越大結果越明顯，如果一條文件節省幾KB，放大到億萬級的量結果也是非常可觀的。

source的總結：

1. ES預設檢索只會返回ID，如果在{“enabled”:false}情況下，你需通過根據這個ID去去倒排索引中去取每個Field資料，效率不高。而反之，在{“enabled”:true}的情況下可以根據ID直接檢索對應source JSON的欄位，不用去倒排索引去按Field取資料。

2. 儘管_source非常有用， 但它確實會佔用索引的儲存空間， 所以也可以禁用（enabled false）、啟用狀態的壓縮策略（compress）。
   壓縮的策略有兩類：

   • compress:是否進行壓縮，建議一般情況下將其設為true 。
   • “includes” : [“author”, “name”], “excludes” : [“sex”] 。

如果想要關閉_source欄位，在mapping中的設定如下:

{
    "yourtype":{
        "_source":{
            "includes":["field1","field2"]
        },
        "properties": {
            ... 
        }
    }
}

如果只想儲存某幾個欄位的原始值到Elasticsearch，可以通過incudes引數來設定，在mapping中的設定如下:

{
    "yourtype":{
        "_source":{
            "includes":["field1","field2"]
        },
        "properties": {
            ... 
        }
    }
}

同樣，可以通過excludes引數排除某些欄位：

{
    "yourtype":{
        "_source":{
            "excludes":["field1","field2"]
        },
        "properties": {
            ... 
        }
    }
}

當設定mapping，禁用_source，返回結果的查詢結果中不會再返回文件原始內容、

//_source禁用
PUT test/test/_mapping
{
   "test": {
      "_source": {
         "enabled": false
      }
   }
}

//寫入一條文件
POST test/test/1
{
    "title":"我是中國人",
    "content":"熱愛共產黨"
}

//查詢文件——搜尋關鍵詞”中國人”
GET test/_search
{
    "query": {
        "match": {
           "title": "中國人"
        }
    }
}

//搜尋關鍵詞”中國人”:
GET test/_search
{
    "query": {
        "match": {
           "title": "中國人"
        }
    }
}
{
   "took": 9,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 1,
      "max_score": 0.30685282,
      "hits": [
         {
            "_index": "test",
            "_type": "test",
            "_id": "1",
            "_score": 0.30685282
         }
      ]
   }
}

三、index和store

index和store屬性實在欄位內進行設定的，下面給出一個例子，設定test索引不儲存_source，title欄位索引但不分析，欄位原始值寫入索引，content欄位為預設屬性。

store的總結：

1. 在不手動設定store的情況下，預設值為no。
2. 如果在{“store”:yes}的情況下，ES會對該欄位單獨儲存倒排索引，每次根據ID檢索的時候，會多走一次IO來從倒排索引取資料。而如果_source enabled 情況下，ES可以直接根據Client類來解析_source JSON，只需一次IO就將所有欄位都檢索出來了。
3. {“store”:yes}既然這麼費力不討好，但是仍然有兩個應用場景：
   
   • 文件很長，檢索所有文件或者儲存所有文件、獲取所有field的代價比較大。
   • 僅僅針對某幾個欄位進行re-index的時候

程式碼如下:

//設定index和store
PUT test/test/_mapping
{
   "test": {
      "_source": {
         "enabled": false
      },
      "properties": {
         "title": {
            "type": "string",
            "index": "not_analyzed",
            "store": "true"
         },
         "content": {
            "type": "string"
         }
      }
   }
}

//對title欄位進行搜尋並高亮
GET test/_search
{
    "query": {
        "match": {
           "title": "我是中國人"
        }
    },
   "highlight": {
      "fields": {
         "title": {}
      }
   }
}

//返回結果
{
   "took": 6,
   "timed_out": false,
   "_shards": {
      "total": 5,
      "successful": 5,
      "failed": 0
   },
   "hits": {
      "total": 1,
      "max_score": 0.30685282,
      "hits": [
         {
            "_index": "test",
            "_type": "test",
            "_id": "1",
            "_score": 0.30685282,
            "highlight": {
               "title": [
                  "<em>我是中國人</em>"
               ]
            }
         }
      ]
   }
}

從返回結果中可以看到，雖然沒有儲存title欄位到_source, 但是依然可以實現搜尋高亮，store和source一樣有儲存原始文件的功能。

source和store的對比總結

Java APi設定示例

public class CreateIndex {

    public static void main(String[] args) {
        try {
            /* 建立客戶端 */
            // client startup
            // 設定叢集名稱
            Settings settings = Settings.builder()
                                .put("cluster.name","elsearch")
                                .put("client.transport.sniff", true)
                                .build();
            // 建立client
            TransportClient client = new 
                            PreBuiltTransportClient(settings)
                .addTransportAddress(new InetSocketTransportAddress
                (InetAddress.getByName("10.122.4.71"), 9300));

            //建立索引
            client.admin().indices()
                .prepareCreate("pointdata2").execute().actionGet();

            //建立索引結構
            XContentBuilder builder = null;
            builder = XContentFactory.jsonBuilder()
                .startObject()
                    .startObject("pointdata2")
                        .startObject("_all")
                            //關閉_all欄位
                            .field("enabled", false)
                        .endObject()
                        .startObject("_source")
                            //關閉_source欄位
                            .field("enabled", false)
                        .endObject()
                        //properties：列出了文件中可能包含的每個欄位的對映
                        .startObject("properties")
                            .startObject("pointid")
                                .field("type", "string")
                                .field("index", "not_analyzed")
                                .field("store", true)
                            .endObject()
                            .startObject("pointvalue")
                                .field("type", "string")
                                .field("index", "not_analyzed")
                            .endObject()
                            .startObject("inputtime")
                                .field("type", "date")
                                .field("format", "yyyy-MM-dd HH:mm:ss")
                                .field("index", "not_analyzed")
                            .endObject()
                        .endObject()
                    .endObject()
                .endObject();

            PutMappingRequest mapping = Requests
                                .putMappingRequest("pointdata2")
                                .type("pointdata2")
                                .source(builder);
            client.admin().indices().putMapping(mapping).actionGet();
            System.out.println("建立成功！");
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}