1. 程式人生 > >solr億萬級索引優化實踐-自動生成UUID

solr億萬級索引優化實踐-自動生成UUID

parse zkclient direct use 參與 客戶 lrj 網速 ret

solr億萬級索引優化實踐(三)

原創 2017年03月14日 17:03:09 本篇文章主要介紹下如何從客戶端solrJ以及服務端參數配置的角度來提升索引速度。

solrJ6.0提供的Java客戶端主要有下面幾種接口:HttpSolrClient,ConcurrentUpdateSolrClient,CloudSolrClient。下面分別對這三種接口做一個簡單的比較。HttpSolrClient在定義的時候需要明確指定一個solr節點路徑,他在提交數據的時候也只能提交到這個節點上;ConcurrentUpdateSolrClient接口在同樣是指定具體solr節點路徑的,但不一樣的事,這是個異步提交的模式,即我們在對客戶端添加數據的時候,客戶端會將文檔緩存到內存隊列中,讓隊列中的數據達到一定數量時,客戶端會自動一次性向solr服務器發起一個http請求;CloudSolrClient就比較簡單了,這個在定義時只需要指定zookeeper地址就好了,因為solr節點註冊時,會將節點信息同步到zookeeper中,在提交數據時,CloudSolrClient會和zookeeper進行通信,發現solr雲中的索引庫,然後利用LBHttpSolrClient來提交數據。通過對比發現,ConcurrentUpdateSolrClient和CloudSolrClient這兩個接口比較優秀,後者比較適用於哈希路由的模式,而前者則比較適合指定路由的模式。

CloudSolrClient

	public SolrClient CreateCloudSolrClient() {
		CloudSolrClient csClient = new CloudSolrClient(zkUrl);
		csClient.setZkConnectTimeout(zkConnectTimeOut);
		csClient.setZkClientTimeout(zkClientTimeOut);
		csClient.setDefaultCollection(collectionName);
		csClient.setParallelUpdates(true);
		csClient.setRequestWriter(new BinaryRequestWriter());
		csClient.connect();
		return csClient;
	}

ConcurrentUpdateSolrClient

public SolrClient CreateHttpClient() {
		ModifiableSolrParams params = new ModifiableSolrParams();
		params.set(HttpClientUtil.PROP_MAX_CONNECTIONS, 128);
		params.set(HttpClientUtil.PROP_MAX_CONNECTIONS_PER_HOST, 32);
		params.set(HttpClientUtil.PROP_FOLLOW_REDIRECTS, false);
		params.set(HttpClientUtil.PROP_ALLOW_COMPRESSION, true);
		params.set(HttpClientUtil.PROP_USE_RETRY, true);
		HttpClient httpClient = HttpClientUtil.createClient(params);
		httpLists.add(httpClient);
		ConcurrentUpdateSolrClient client = new ConcurrentUpdateSolrClient(solrUrl + "/" + collectionName, 50, 1);
		client.setConnectionTimeout(zkClientTimeOut);
		client.setSoTimeout(zkConnectTimeOut);
		client.setPollQueueTime(500);
		client.setParser(new BinaryResponseParser());
		client.setRequestWriter(new BinaryRequestWriter());
		return client;
	}

上篇文章介紹過,在多線程配合指定路由的模式下,集群的性能能夠水平拓展,這個時候再配合ConcurrentUpdateSolrClient客戶端,單個節點速度也會有比較大的提升。需要註意的是,有兩個參數需要慎重設置,第一個是隊列大小,這個指的是隊列中最多存儲多少個請求之後向服務器進行提交,另一個是線程數,表示內部開幾個線程來提交數據。這兩個參數需要根據自己應用程序的JVM來設置,如果設置的過大,會導致內存溢出。

由於是異步請求的方式,所以如果在建立索引的過程中出現了異常,異常信息是不會拋給應用程序的,後來通過調試源碼發現,solrJ自己在內部處理了這個異常(其實什麽都沒做,預留了一個空方法),我們可以在選擇修改源碼來捕捉異常數據,或者將此異常拋出,由應用程序來捕捉異常,持久化異常數據。

在服務器端,我們也可以通過一些優化,來提高建立索引速度。

1 段合並

solr的索引是由段組成,更新索引的時候是寫入一個段的信息,幾個段共同組成一個索引,在solr優化索引的時候或其他的時候,solr的段是會合並的。所以我們可以對相關參數進行控制,對段的大小以及合並的頻率進行調整,來提交系統資源利用效率。

mergeFactor這個參數是合並因子,只當內存中有N個文檔時則合並成一個段,當存在N個段文件時則合並成一個新的段文件。

minMergeSize,指定最小的合並段大小,如果段的大小小於這個值,則可以參加合並。

maxMergeSize,當一個段的大小大於這個值的時候就不參與合並了。

maxMergeDocs,當文檔數據量大於這個的時候,這個段就不參與合並了。

在實際場景中,應該根據物理機的資源,來配置這些參數,適量加大mergeFactor參數,來降低合並頻率,頻繁的段合並會消耗大量系統資源。

2 自動生成ID

在Solr中,每一個索引,都要有一個唯一的ID,類似於關系型數據庫表中的主鍵。我們在創建文檔的時候,需要自己生成一串UUID來標示文檔,但是由於ID比較長,在索引過程中,會占用一些額外的網速和內存等資源,我們可以控制在服務器端讓solr自己生成UUID,具體配置步驟如下:

1)修改schema.xml文件,將ID字段修改為UUID類型

 <field name="id" type="uuid" indexed="true" stored="true" required="true" multiValued="false" /> 
 <fieldType name="uuid" class="solr.UUIDField" indexed="true" />

2)配置solrconfig.xml文件,添加更新策略配置,生成UUID

<updateRequestProcessorChain name="uuid">
     <processor class="solr.UUIDUpdateProcessorFactory">
          <str name="fieldName">id</str>
     </processor>
     <processor class="solr.LogUpdateProcessorFactory" />
     <processor class="solr.DistributedUpdateProcessorFactory" />
     <processor class="solr.RunUpdateProcessorFactory" />
</updateRequestProcessorChain>

3)配置requestHandler

<requestHandler name="/dataimport" class="solr.DataImportHandler">
    <lst name="defaults">
      <str name="config">tika-data-config.xml</str>
      <str name="update.chain">uuid</str>    
   </lst>
</requestHandler>

<requestHandler name="/update" class="solr.UpdateRequestHandler">
       <lst name="defaults">
        <str name="update.chain">uuid</str>
       </lst>  
</requestHandler>

  <!-- for back compat with clients using /update/json and /update/csv -->  
  <requestHandler name="/update/json" class="solr.JsonUpdateRequestHandler">
        <lst name="defaults">
         <str name="stream.contentType">application/json</str>
         <str name="update.chain">uuid</str>
        </lst>
  </requestHandler>
  <requestHandler name="/update/csv" class="solr.CSVRequestHandler">
        <lst name="defaults">
         <str name="stream.contentType">application/csv</str>
         <str name="update.chain">uuid</str>
        </lst>
  </requestHandler>

  <requestHandler name="/update/extract"
                  startup="lazy"
                  class="solr.extraction.ExtractingRequestHandler" >
    <lst name="defaults">
      <str name="xpath">/xhtml:html/xhtml:body/descendant:node()</str>
      <str name="capture">content</str>
      <str name="fmap.meta">attr_meta_</str>
      <str name="uprefix">attr_</str>
      <str name="lowernames">true</str>
      <str name="update.chain">uuid</str>
    </lst>
</requestHandler>
這樣solr即可自動生成UUID,不需要再客戶端額外生成。

solr億萬級索引優化實踐-自動生成UUID