一.SprignBoot整合Spring Data Elasticsearch

Elasticsearch提供的Java客戶端有一些不太方便的地方：

• 很多地方需要拼接Json字串，在java中拼接字串有多恐怖你應該懂的
• 需要自己把物件序列化為json儲存
• 查詢到結果也需要自己反序列化為物件

因此，我們這裡就不講解原生的Elasticsearch客戶端API了。

而是學習Spring提供的套件：Spring Data Elasticsearch

1.1.簡介

Spring Data Elasticsearch是Spring Data專案下的一個子模組。

檢視 Spring Data的官網：http://projects.spring.io/spring-data/

Spring Data 是的使命是給各種資料訪問提供統一的程式設計介面，不管是關係型資料庫（如MySQL），還是非關係資料庫（如Redis），或者類似Elasticsearch這樣的索引資料庫。從而簡化開發人員的程式碼，提高開發效率。

包含很多不同資料操作的模組：

Spring Data Elasticsearch的頁面：https://projects.spring.io/spring-data-elasticsearch/

特徵：

• 支援Spring的基於@Configuration
  的java配置方式，或者XML配置方式
• 提供了用於操作ES的便捷工具類**ElasticsearchTemplate**。包括實現文件到POJO之間的自動智慧對映。
• 利用Spring的資料轉換服務實現的功能豐富的物件對映
• 基於註解的元資料對映方式，而且可擴充套件以支援更多不同的資料格式
• 根據持久層介面自動生成對應實現方法，無需人工編寫基本操作程式碼（類似mybatis，根據介面自動得到實現）。當然，也支援人工定製查詢

1.2.建立Demo工程

我們新建一個demo，學習Elasticsearch

pom依賴：

<?xml version="1.0" encoding="UTF-8"?>
 

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.czxy</groupId>
    <artifactId>bos-es</artifactId>
    <version>0.0.1-SNAPSHOT</version>
    <packaging>jar</packaging>

    <name>bos-es</name>
    <description>Demo project for Spring Boot</description>

    <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>2.0.4.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
    </parent>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-test</artifactId>
            <scope>test</scope>
        </dependency>
    </dependencies>

    <build>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
        </plugins>
    </build>


</project>

application.properties檔案配置：

spring.data.elasticsearch.cluster-name=my-application
spring.data.elasticsearch.cluster-nodes=http://127.0.0.1:9300

1.3.索引操作

1.3.1.建立索引和對映

SpringBoot-data-elasticsearch提供了面向物件的方式操作elasticsearch

業務：建立一個商品物件，有這些屬性：

答：id，title，category，brand，price，圖片地址

在SpringDataElasticSearch中，只需要操作物件，就可以操作elasticsearch中的資料

實體類

首先我們準備好實體類：

public class Item {
    private Long id;
    private String title; //標題
    private String category;// 分類
    private String brand; // 品牌
    private Double price; // 價格
    private String images; // 圖片地址
}

對映—註解

Spring Data通過註解來宣告欄位的對映屬性，有下面的三個註解：

• @Document 作用在類，標記實體類為文件物件，一般有兩個屬性
  • indexName：對應索引庫名稱
  • type：對應在索引庫中的型別
  • shards：分片數量，預設5
  • replicas：副本數量，預設1
• @Id 作用在成員變數，標記一個欄位作為id主鍵
• @Field 作用在成員變數，標記為文件的欄位，並指定欄位對映屬性：
  • type：欄位型別，是是列舉：FieldType，可以是text、long、short、date、integer、object等
    • text：儲存資料時候，會自動分詞，並生成索引
    • keyword：儲存資料時候，不會分詞建立索引
    • Numerical：數值型別，分兩類
      • 基本資料型別：long、interger、short、byte、double、float、half_float
      • 浮點數的高精度型別：scaled_float
        • 需要指定一個精度因子，比如10或100。elasticsearch會把真實值乘以這個因子後儲存，取出時再還原。
    • Date：日期型別
      • elasticsearch可以對日期格式化為字串儲存，但是建議我們儲存為毫秒值，儲存為long，節省空間。
  • index：是否索引，布林型別，預設是true
  • store：是否儲存，布林型別，預設是false
  • analyzer：分詞器名稱，這裡的ik_max_word即使用ik分詞器

示例：

@Document(indexName = "item",type = "docs", shards = 1, replicas = 0)
public class Item {
    @Id
    private Long id;
    
    @Field(type = FieldType.Text, analyzer = "ik_max_word")
    private String title; //標題
    
    @Field(type = FieldType.Keyword)
    private String category;// 分類
    
    @Field(type = FieldType.Keyword)
    private String brand; // 品牌
    
    @Field(type = FieldType.Double)
    private Double price; // 價格
    
    @Field(index = false, type = FieldType.Keyword)
    private String images; // 圖片地址
}

建立索引

ElasticsearchTemplate中提供了建立索引的API：

• 可以根據類的資訊自動生成，也可以手動指定indexName和Settings

對映

對映相關的API：

• 一樣，可以根據類的位元組碼資訊（註解配置）來生成對映，或者手動編寫對映

我們這裡採用類的位元組碼資訊建立索引並對映：

@Test
public void createIndex() {
    // 建立索引，會根據Item類的@Document註解資訊來建立
    esTemplate.createIndex(Item.class);
    // 配置對映，會根據Item類中的id、Field等欄位來自動完成對映
    esTemplate.putMapping(Item.class);
}

索引資訊：

1.3.2.刪除索引

刪除索引的API：

可以根據類名或索引名刪除。

示例：

@Test
public void deleteIndex() {
    esTemplate.deleteIndex(Item.class);
    // 根據索引名字刪除
    //esTemplate.deleteIndex("item1");
}

結果：OK

1.4.新增文件資料

1.4.1.Repository介面

Spring Data 的強大之處，就在於你不用寫任何DAO處理，自動根據方法名或類的資訊進行CRUD操作。只要你定義一個介面，然後繼承Repository提供的一些子介面，就能具備各種基本的CRUD功能。

來看下Repository的繼承關係：

我們看到有一個ElasticsearchCrudRepository介面：

所以，我們只需要定義介面，然後繼承它就OK了。

public interface ItemRepository extends ElasticsearchRepository<Item,Long> {
}

接下來，我們測試新增資料：

1.4.2.新增一個物件

@Autowired
private ItemRepository itemRepository;

@Test
public void index() {
    Item item = new Item(1L, "小米手機7", " 手機",
                         "小米", 3499.00, "http://image.baidu.com/13123.jpg");
    itemRepository.save(item);
}

去頁面查詢看看：

1.4.3.批量新增

程式碼：

@Test
public void indexList() {
    List<Item> list = new ArrayList<>();
    list.add(new Item(2L, "堅果手機R1", " 手機", "錘子", 3699.00, "http://image.baidu.com/13123.jpg"));
    list.add(new Item(3L, "華為META10", " 手機", "華為", 4499.00, "http://image.baidu.com/13123.jpg"));
    // 接收物件集合，實現批量新增
    itemRepository.saveAll(list);
}

再次去頁面查詢：

1.4.4.修改

elasticsearch中本沒有修改，它的是該是先刪除在新增

修改和新增是同一個介面，區分的依據就是id。

public void index(){
    Item item = new Item(1L, "蘋果XSMax", " 手機",
            "小米", 3499.00, "http://image.baidu.com/13123.jpg");
    itemRepository.save(item);
}

檢視結果：

1.5.查詢

1.5.1.基本查詢

ElasticsearchRepository提供了一些基本的查詢方法：

我們來試試查詢所有：

@Test
    public void testQueryAll(){
        // 查詢所有
        //Iterable<Item> list = this.itemRepository.findAll();
        // 對某欄位排序查詢所有 Sort.by("price").descending() 降序
        // Sort.by("price").ascending():升序
        Iterable<Item> list = this.itemRepository.findAll(Sort.by("price").ascending());

        for (Item item:list){
            System.out.println(item);
        }
    }

結果：

1.5.2.自定義方法

Spring Data 的另一個強大功能，是根據方法名稱自動實現功能。

比如：你的方法名叫做：findByTitle，那麼它就知道你是根據title查詢，然後自動幫你完成，無需寫實現類。

當然，方法名稱要符合一定的約定：

Keyword	Sample
And	findByNameAndPrice
Or	findByNameOrPrice
Is	findByName
Not	findByNameNot
Between	findByPriceBetween
LessThanEqual	findByPriceLessThan
GreaterThanEqual	findByPriceGreaterThan
Before	findByPriceBefore
After	findByPriceAfter
Like	findByNameLike
StartingWith	findByNameStartingWith
EndingWith	findByNameEndingWith
Contains/Containing	findByNameContaining
In	findByNameIn(Collection<String>names)
NotIn	findByNameNotIn(Collection<String>names)
Near	findByStoreNear
True	findByAvailableTrue
False	findByAvailableFalse
OrderBy	findByAvailableTrueOrderByNameDesc

例如，我們來按照價格區間查詢，定義這樣的一個方法：

public interface ItemRepository extends ElasticsearchRepository<Item,Long> {

    /**
     * 根據價格區間查詢
     * @param price1
     * @param price2
     * @return
     */
    List<Item> findByPriceBetween(double price1, double price2);
}

然後新增一些測試資料：

@Test
public void indexList() {
    List<Item> list = new ArrayList<>();
    list.add(new Item(1L, "小米手機7", "手機", "小米", 3299.00, "http://image.baidu.com/13123.jpg"));
    list.add(new Item(2L, "堅果手機R1", "手機", "錘子", 3699.00, "http://image.baidu.com/13123.jpg"));
    list.add(new Item(3L, "華為META10", "手機", "華為", 4499.00, "http://image.baidu.com/13123.jpg"));
    list.add(new Item(4L, "小米Mix2S", "手機", "小米", 4299.00, "http://image.baidu.com/13123.jpg"));
    list.add(new Item(5L, "榮耀V10", "手機", "華為", 2799.00, "http://image.baidu.com/13123.jpg"));
    // 接收物件集合，實現批量新增
    itemRepository.saveAll(list);
}

不需要寫實現類，然後我們直接去執行：

@Test
public void queryByPriceBetween(){
    List<Item> list = this.itemRepository.findByPriceBetween(2000.00, 3500.00);
    for (Item item : list) {
        System.out.println("item = " + item);
    }
}

結果：

1.5.3.自定義查詢

先來看最基本的match query：

@Test
public void search(){
    // 構建查詢條件
    NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
    // 新增基本分詞查詢
    queryBuilder.withQuery(QueryBuilders.matchQuery("title", "小米手機"));
    // 搜尋，獲取結果
    Page<Item> items = this.itemRepository.search(queryBuilder.build());
    // 總條數
    long total = items.getTotalElements();
    System.out.println("total = " + total);
    for (Item item : items) {
        System.out.println(item);
    }
}

• NativeSearchQueryBuilder：Spring提供的一個查詢條件構建器，幫助構建json格式的請求體

• QueryBuilders.matchQuery(“title”, “小米手機”)：利用QueryBuilders來生成一個查詢。QueryBuilders提供了大量的靜態方法，用於生成各種不同型別的查詢：

• Page<item>：預設是分頁查詢，因此返回的是一個分頁的結果物件，包含屬性：

  • totalElements：總條數

  • totalPages：總頁數

  • Iterator：迭代器，本身實現了Iterator介面，因此可直接迭代得到當前頁的資料

  • 其它屬性：

  

結果：

總的測試程式碼：

/**
     *
     * termQuery
     * wildcardQuery
     * fuzzyquery
     * booleanQuery
     * numericRangeQuery
     *
     */
    @Test
    public void testMathQuery(){
        // 建立物件
        NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
        // 在queryBuilder物件中自定義查詢
        //matchQuery:底層就是使用的termQuery
        queryBuilder.withQuery(QueryBuilders.matchQuery("title","堅果"));
        //查詢，search 預設就是分頁查詢
        Page<Item> page = this.itemRepository.search(queryBuilder.build());
        //獲取資料
        long totalElements = page.getTotalElements();
        System.out.println("獲取的總條數:"+totalElements);

        for(Item item:page){
            System.out.println(item);
        }


    }


    /**
     * termQuery:功能更強大，除了匹配字串意外，還可以匹配int/long/double/float/....
     */
    @Test
    public void testTermQuery(){
        NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
        builder.withQuery(QueryBuilders.termQuery("price",998.0));
        // 查詢
        Page<Item> page = this.itemRepository.search(builder.build());

        for(Item item:page){
            System.out.println(item);
        }
    }

    @Test
    public void testBooleanQuery(){
        NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();

        builder.withQuery(
                QueryBuilders.boolQuery().must(QueryBuilders.matchQuery("title","華為"))
                                         .must(QueryBuilders.matchQuery("brand","華為"))
        );

        // 查詢
        Page<Item> page = this.itemRepository.search(builder.build());
        for(Item item:page){
            System.out.println(item);
        }
    }


    @Test
    public void testFuzzyQuery(){
        NativeSearchQueryBuilder builder = new NativeSearchQueryBuilder();
        builder.withQuery(QueryBuilders.fuzzyQuery("title","faceoooo"));
        Page<Item> page = this.itemRepository.search(builder.build());
        for(Item item:page){
            System.out.println(item);
        }

    }

1.5.4.分頁查詢

利用NativeSearchQueryBuilder可以方便的實現分頁：

@Test
public void searchByPage(){
    // 構建查詢條件
    NativeSearchQueryBuilder queryBuilder = new NativeSearchQueryBuilder();
    // 新增基本分詞查詢
    queryBuilder.withQuery(QueryBuilders.termQuery("category", "手機"));
    // 分頁：
    int page = 0;
    int size = 2;
    queryBuilder.withPageable<