Solr6使用SolrJ匯入JSON資料
阿新 • • 發佈：2019-02-19
需要的軟體支援
JDK1.8以上
Solr6.0
Eclipse 4.5
solr-solrj-6.0.0.jar
dom4j-1.6.1.jar
fastjson-1.2.7.jar
JSON文件轉換為Java物件
我準備了一段JSON資料，儲存在cd.json文件中。
[
{
"TITLE": "皇帝諷刺劇",
"ARTIST": "鮑勃·迪倫",
"COUNTRY": "美國",
"COMPANY": "哥倫比亞",
"PRICE": "10.90",
"YEAR": "1985" 讀取JSON檔案資料：ReadJSONFile.java
package com.trainning.project.json;
import java.io.BufferedReader;
import java.io.File;
import java.io.FileInputStream;
import java.io.InputStreamReader;
public class ReadJSONFile {
/**
* 將json檔案資料讀取到記憶體
* @param filepath
* @return json string
*/
public static String readFile(String filepath){
String json = "";
try {
File file = new File(filepath);
FileInputStream fis = new FileInputStream(file);
InputStreamReader isInputStreamReader = new InputStreamReader(fis, "UTF-8");
BufferedReader brReader = new BufferedReader(isInputStreamReader);
String line;
while((line = brReader.readLine()) != null){
json += line;
}
brReader.close();
isInputStreamReader.close();
} catch (Exception e) {
e.printStackTrace();
}
return json;
}
}將json資料轉化為java物件，我這裡使用到了阿里巴巴的fastjson，這是一個開源專案，號稱有最快的解析速度，可以方便地進行序列化和反序列化操作。
建立javabean: CDBean.java
package com.trainning.project.json;
public class CDBean {
private String title;
private String artist;
private String country;
private String company;
private double price;
private String year;
private String description;
public String getTitle() {
return title;
}
public void setTitle(String title) {
this.title = title;
}
public String getArtist() {
return artist;
}
......
public void setDescription(String description) {
this.description = description;
}
@Override
public String toString() {
return "CD :[title=" + title + ", artist=" + artist + ", country=" + country + ", company=" + company
+ ", price=" + price + ", year=" + year + ", description=" + description + "]";
}
}
轉化JSON資料：ConvertJSON.java
package com.trainning.project.json;
import java.util.List;
import com.alibaba.fastjson.JSON;
public class ConvertJSON {
public static List<CDBean> jsonToList(String json){
//把JSON文字parse成JavaBean集合
List<CDBean> list = JSON.parseArray(json,CDBean.class);
//列印一下list的內容，除錯時用
list.stream().forEach(System.out::println);
return list;
}
}使用SolrJ將List資料匯入到Solr資料庫
- 新建一個檔案SolrPublisher.java
package com.trainning.project.json;
import java.util.List;
import java.util.UUID;
import org.apache.solr.client.solrj.impl.HttpSolrClient;
import org.apache.solr.common.SolrInputDocument;
public class SolrPublisher {
public static final String SOLR_URL = "http://localhost:8080/solr/core0";
private HttpSolrClient client;
public SolrPublisher() {
client = new HttpSolrClient(SOLR_URL);
}
public void insertDataToSolr() throws Exception{
String filepath = "src/main/java/com/trainning/project/json/cd.json";
String json = ReadJSONFile.readFile(filepath);
List<CDBean> list = ConvertJSON.jsonToList(json);
client.deleteByQuery("*:*");//清空solr中原有資料
for(CDBean cd : list){
SolrInputDocument input = new SolrInputDocument();
//ID是資料的主鍵，原則上必須指定，並且不能重複。便於資料管理，如刪除操作
input.addField("id", UUID.randomUUID().toString(), 1.0f);
//這裡的addField方法第一個引數需要在core0/conf/managed-schema中有對應的field
//引數使用的是managed-schema中有對應的field：<dynamicField name="*_s" type="string" indexed="true" stored="true"/>
//這個引數採用萬用字元的方式，指定一個string型別的欄位
input.addField("title_s", cd.getTitle());
input.addField("artist_s", cd.getArtist());
input.addField("country_s", cd.getCountry());
input.addField("company_s", cd.getCompany());
input.addField("price_d", cd.getPrice());
input.addField("year_s", cd.getYear());
input.addField("description_s", cd.getDescription());
client.add(input);
}
//不能忘記提交
client.commit();
}
/**
* 使用main方法測試整個插入過程是否能成功
*/
public static void main(String[] args) {
SolrPublisher publisher = new SolrPublisher();
try {
publisher.insertDataToSolr();
} catch (Exception e) {
e.printStackTrace();
}
}
}