2. 程式人生 > >Solr11-SolrCloud的詳細部署過程(基於Solr4.10.4搭建Solr叢集)

Solr11-SolrCloud的詳細部署過程(基於Solr4.10.4搭建Solr叢集)

阿新 • • 發佈：2018-11-01

文章目錄

1 SolrCloud結構說明

  1. ZooKeeper叢集:

a) ZooKeeper需要保證高可用, 需要搭建叢集;

b) ZooKeeper需要進行投票和選舉機制, 最少需要三個節點;

c) ZooKeeper的三個節點, 注意修改埠號不一樣

  1. Solr叢集:

a) 需要四個節點(Solr應用伺服器);

b) 四臺Tomcat部署4個 solr應用伺服器;

c) 整個Collection分為兩個分片: 每個分片均由兩個副本組成.

2 環境的安裝

2.1 環境說明

  • OS: CentOS 7.0
  • JDK: HotSpot™ 1.8.0_162
  • Tomcat: 8.0.53
  • ZooKeeper: 3.4.10
  • Solr: 4.10.4

2.2 部署並啟動ZooKeeper叢集

ZooKeeper叢集的安裝部署, 詳細文件參見 學習部署ZooKeeper叢集 看這篇就夠了.

2.3 部署Solr單機服務

參考Solr04-Solr單機服務的部署, 這裡通過Tomcat的虛擬環境釋出Solr專案.

(1) 建立SolrCloud的釋出路徑:

建立 /data/solr-cloud 作為專案釋出路徑, 並賦予讀寫許可權:

mkdir -p /data/solr-cloud && cd /data
chmod 644 solr-cloud

(2) 將apache-tomcat-8.0.53.tar.gz拷貝到/data/solr-cloud/tomcat下並解壓:

mkdir -p /data/solr-cloud/tomcat && cd /data/solr-cloud/tomcat
tar -zxf apache-tomcat-8.0.53.tar.gz

(3) 解壓solr.4.10.4.tgz:

將solr.4.10.4.tgz拷貝到任意一臺伺服器的/data/solr-cloud下, 解壓：

tar -zxf solr-4.10.4.tgz

(4) 找到Solr安裝包example/webapps下的solr.war包, 解壓縮:

cd /data/solr-cloud/solr-4.10.4/example/webapps
# 使用jar命令解壓縮
jar -xvf solr.war solr
# 解壓縮之後, 刪除solr.war包, 防止Tomcat自動解壓縮此包, 導致配置被覆蓋
rm -rf solr.war

(5) 部署solr專案: 建立存放solr應用的目錄, 並將解壓後的solr.war拷貝至此目錄下:

cd /data/solr-cloud 
mkdir -p tomcat/display/solr
# 將所有檔案拷貝至solr目錄下
cp -r solr-4.10.4/example/webapps tomcat/display/solr

(6) 使用Tomcat的虛擬目錄安裝: 這裡沒有將Solr服務新增到Tomcat的webapps目錄下, 所以需要修改Tomcat的 $TOMCAT_HOME/conf/server.xml 檔案, 新增Solr的服務路徑:

說明: 這裡將Solr服務部署在 /data/solr-cloud/tomcat/display/solr 路徑下.

<Host name="localhost" appBase="webapps" 
      unpackWARs="true" autoDeploy="true">
    <!-- 配置訪問路徑, 效果為: http://ip:port/solr -->
    <Context path="/solr" privileged="true"
             docBase="/data/solr-cloud/tomcat/display/solr"> 
        <Environment name="solr/home" type="java.lang.String" override="true"
                     value="/data/solr-cloud/tomcat/solrhome"/> 
    </Context> 
    <!-- ... ... -->
</Host>

  • path: 指定訪問該Web應用的名稱, 即 http://ip:8080/solr 中埠號之後的部分;

  • docBase: 指定Web應用的檔案路徑, 如果是war包, 必須加上字尾;

  • 節點就是設定solr/home的目錄, 用來存放各個Collection的索引檔案.

(7) 配置其他檔案:

a. 拷貝Solr解壓包下的log4j.properties檔案至Solr服務的WEB-INF/classes下:

cd /data/solr-cloud
mkdir -p tomcat/display/solr/WEB-INF/classes
cp solr-4.10.4/example/resources/log4j.properties tomcat/display/solr/WEB-INF/classes

b. 拷貝Solr解壓包下example/lib/ext中的所有jar包拷貝到Solr服務的WEB-INF/lib下:

cd /data/solr-cloud
cp -r solr-4.10.4/example/lib/ext/* tomcat/display/solr/WEB-INF/lib

c. 拷貝Solr解壓包下example/solr下的solr.xml至solrhome下(必須存在, 否則Solr服務將不能正常啟動):

cd /data/solr-cloud && mkdir -p tomcat/solrhome
cp -r solr-4.10.4/example/solr/solr.xml tomcat/solrhome

d. 拷貝Solr解壓包下的example/solr/collection1至tomcat目錄下的solrhome中, 用作SolrCore的配置檔案:

cd /data/solr-cloud
cp -r solr-4.10.4/examplesolr/collection1 tomcat/solrhome

啟動Tomcat後, 訪問 http://ip:port/solr, 若出現Solr管理頁面, 說明單機版Solr部署完成.

  • 另一種虛擬環境釋出方法:

    將上述標籤的所有內容單獨建立為一個檔案, 檔名為path的值, 將檔案放入 ${TOMCAT_HOME}/conf/Catalina/localhost/ 目錄下, Tomcat啟動時, 將自動載入此配置檔案的資訊, 啟動Tomcat後, 直接訪問path路徑即可.

2.4 新增Solr的索引庫

  1. 在Solr的管理介面點選[Core Admin], 再點選[Add Core]這項, 系統提示instanceDir和dataDir必須存在, 否則將丟擲如下錯誤:
new_core: org.apache.solr.common.SolrException:org.apache.solr.common.SolrException: Could not load conf for core new_core: Error loading solr config from /data/solr-cloud/tomcat/solrhome/new_core/conf/solrconfig.xml
新增索引庫報錯圖示
  1. 對映solrhome的位置:
vim /data/solr-cloud/tomcat/display/solr/WEB-INF/web.xml
# 刪除40行和46行的註釋, 如下: 
<env-entry>
    <env-entry-name>solr/home</env-entry-name>
    <env-entry-value>/data/solr-cloud/tomcat/solrhome</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
</env-entry>
  1. 重新啟動Tomcat, 發現名為collection1的SolrCore已經載入上了:
新增索引庫成功

  • 補充說明:

    a) 如果刪除rm –rf /data/solr-cloud/tomcat/solrhome/collection1/core.properties檔案, 叢集啟動後就沒有collection;

    b) 以後再次建立SolrCore時, 可以直接複製collection1目錄, 修改core.properties檔案中的name即可.

3 部署Solr叢集服務(SolrCloud)

3.1 啟動ZooKeeper

SolrCloud的部署需要依賴ZooKeeper, 需要先啟動所有ZooKeeper伺服器.

3.2 ZooKeeper管理配置檔案

在分散式服務中, 多采用ZooKeeper統一管理配置檔案, 這裡Solr使用到的配置檔案主要有schema.xml、solrconfig.xml等, SolrCloud各個節點使用ZooKeeper統一管理的檔案即可.

(1) 將Solr單機服務的配置檔案交由ZooKeeper管理:

執行下述命令將Solr單機conf下的配置檔案上傳到ZooKeeper(此命令為一條命令)：

cd /data/solr-cloud/solr-4.10.4/example/scripts/cloud-scripts

# 注意: 下面一長串只是一條命令, 不要太早回車哦~
sh zkcli.sh -zkhost 10.0.20.50:2181,10.0.20.51:2181,10.0.20.52:2181 -cmd upconfig -confdir /data/solr-cloud/tomcat/solrhome/collection1/conf -confname myconf

  • 命令說明:

    -zkhost: 指定ZooKeeper叢集的ip及埠號, 多個之間以半形逗號隔開;

    -cmd: 表示使用某個內部命令, 這裡使用upconfig, 即更新配置資訊;

    -confdir: 需要上傳的配置檔案所在的位置;

    -confname: 自定義上傳後ZooKeeper管理的配置檔案的名稱.

(2) 使用ZooKeeper的伺服器查詢配置檔案：

cd /data/zookeeper/zookeeper-3.4.10/bin/
sh zkCli.sh

# 資訊如下: 
......
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0] ls /
[configs, zookeeper]
[zk: localhost:2181(CONNECTED) 1] ls /configs
[myconf]
[zk: localhost:2181(CONNECTED) 2] ls /configs/myconf
[currency.xml, mapping-FoldToASCII.txt, protwords.txt, scripts.conf, synonyms.txt, stopwords.txt, _schema_analysis_synonyms_english.json, velocity, admin-extra.html, update-script.js, _schema_analysis_stopwords_english.json, solrconfig.xml, admin-extra.menu-top.html, elevate.xml, schema.xml, clustering, mapping-ISOLatin1Accent.txt, _rest_managed.json, xslt, spellings.txt, lang, admin-extra.menu-bottom.html]
[zk: localhost:2181(CONNECTED) 3] quit
Quitting...
2018-10-25 21:27:08,122 [myid:] - INFO  [main:[email protected]] - Session: 0x166a788acfd0001 closed
2018-10-25 21:27:08,126 [myid:] - INFO  [main-EventThread:ClientCnxn[email protected]] - EventThread shut down for session: 0x166a788acfd0001
檢視

3.3 修改SolrCloud監聽埠

修改每個Solr服務的/usr/local/solr-cloud/solr.xml檔案中的hostPort(此埠預設為Jetty容器的訪問埠8983). 如果在catalina.sh中指定, 此處的設定將被覆蓋.

<solrcloud>  
    <str name="host">${host:}</str>  
    <int name="hostPort">${jetty.port:8080}</int>  
    <str name="hostContext">${hostContext:solr}</str>  
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>  
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>  
</solrcloud>

3.4 關聯Solr與ZooKeeper

即關聯Tomcat與ZooKeeper, 修改每一臺Solr服務所屬tomcat/bin目錄下的catalina.sh, 指定ZooKeeper服務的地址:

vim /data/solr-cloud/tomcat/ apache-tomcat-8.0.53/bin/catalina.sh
# 在cygwin=false(大約109行)之前加入如下設定: 
JAVA_OPTS="$JAVA_OPTS -DzkHost=zoo1:2181,zoo2:2181,zoo3:2181"

可以使用vim的查詢功能查詢JAVA_OPTS的定義的位置: 按[Esc], 在命令模式下輸入:/cygwin, 然後回車, 按字母[n]查詢下一個.

其中, -DzkHost: 用來指定ZooKeeper服務的ip和埠號.

3.5 分發SolrCloud服務

cd /data
scp -r solr-cloud/ 10.0.20.51:/data
scp –r solr-cloud/ 10.0.21.52:/data

3.6 啟動所有Solr服務

在啟動ZooKeeper集群后, 依次啟動所有Solr服務 — 即Tomcat.

3.7 訪問SolrCloud

訪問任意一臺Solr, 左側選單將出現[Cloud]功能按鈕, 點選檢視, 出現下圖中的資訊, 說明SolrCloud部署成功.

SolrCloud啟動圖

參考資料

http://eksliang.iteye.com/blog/2107002

https://www.cnblogs.com/jepson6669/p/9134652.html

版權宣告

作者: ma_shoufeng(馬瘦風)

出處: CSDN 馬瘦風的部落格

您的支援是對博主的極大鼓勵, 感謝您的閱讀.

本文版權歸博主所有, 歡迎轉載, 但未經博主同意必須保留此段宣告, 且在文章頁面明顯位置給出原文連結, 否則博主保留追究法律責任的權利.

相關推薦

Solr11-SolrCloud的詳細部署過程(基於Solr4.10.4搭建Solr叢集)

文章目錄 1 SolrCloud結構說明 2 環境的安裝 2.1 環境說明 2.2 部署並啟動ZooKeeper叢集 2.3 部署Solr單機服務 2.4 新增Solr的索引庫 3 部署Solr叢集服務(Sol

根檔案系統掛載過程—基於linux3.10

本文基於linux3.10某一嵌入式系統，該檔案系統的配置選項設定如下： 圖1.1 根檔案系統配置選項設定          兩行配置如下： [*] Initial RAMfilesystem and RAM disk (initramfs/initrd) suppor

Linux-7.2 下 Solr4.10.4 單機模式的安裝與部署圖文詳解

《 Linux下Solr4.10.4搜尋引擎的安裝與部署 》 瞭解Solr： Solr是來自Apache Lucene專案的流行的，快速的，開源的NoSQL搜尋平臺。它的主要功能包括強大

企業級搜尋應用伺服器Solr4.10.4部署開發詳解（3）- Solr使用-使用java客戶端solrj進行增刪改查開發

（一）使用java客戶端solrj進行增刪改查開發         前兩章講的是如何搭建部署Solr環境和使用Solr建立資料集合進行儲存查詢，下面我們需要更進一步，直接使用客戶端API進行開發，直接操作資料集合，進行增刪改查。 1. 加入客戶端API的jar包 使用客戶端

rsync詳細部署過程及講解

備份伺服器講解------rsync備份伺服器(適用於unix linux windows)##什麼是rsync軟體是一款開源的，快速的，多功能，可實現全量及增量的本地或遠端資料同步備份的優秀工具全量及增量：全量： 主機A有10G資料------>主機B接收10G資料主機A有10G又增加5G資料----

整合Nutch2.3.1/Hadoop2.5.2/Hbase1.1.5/Solr4.10.4構建搜尋引擎：安裝及執行

第一次寫部落格，之前從來沒有寫過部落格因為不知道要寫什麼，這次寫部落格是因為自己在學習東西的時候遇見很多問題，國內的技術資料基本都是比較老的，要不就是nutch2.x整合hadoop1.x的，沒有找到整合hadoop2.x的，對hbase的整合度也很少，自己在學習的時候，

Dell R410/R620 基於Windows Server 2012搭建HPC叢集伺服器

（搭建叢集伺服器的方法有很多種，這裡只是寫一下我走通的這條路，還有很多其他方法也可以搭建成功，我這個方法也肯定不是最佳的方法……） 一、安裝系統 這一步相信大家應該都沒什麼問題了，伺服器的系統安裝與桌上型電腦，筆記本的系統安裝是一樣的。不過我在這塊卻花了比較久的時間，第一次是因為伺服器的光碟

基於Virtualbox虛擬機器搭建hadoop叢集環境

1.1安裝centos7 在centos官網下載centos7映象檔案，在Virtualbox軟體中匯入映象檔案進行安裝，本次由於實驗環境限制，只安裝了三臺centos7虛擬機器，分別命名為hadoop1,hadoop2,hadoop3，為保證三臺虛擬機器能夠正常通訊，三臺

超詳細，多圖文使用galera cluster搭建mysql叢集並介紹wsrep相關引數

# 超詳細，多圖文使用galera cluster搭建mysql叢集並介紹wsrep相關引數 > 介紹galera cluster原理的文章已經有一大堆了，百度幾篇看一看就能有相關了解，這裡就不贅述了。本文主要側重實操，因為跟著百度前幾頁的搭建教程或多或少都有坑，前後配置邏輯矛盾的也有。終於，經過

Disconf 學習系列之全網最詳細的最新穩定Disconf 搭建部署（基於Windows7 / 8 / 10）（圖文詳解）

分享 study str www windows 最新 1.8 環境 text 　　不多說，直接上幹貨！ 工作環境以及安裝依賴軟件 Zookeeper-3.4.8 Disconf 2.6.36 Nginx 1.9.9（見如下博文的phpstu

hadoop+spark詳細的部署過程

hadoop準備軟件包1、hadoop-2.7.2.tar.gzhttp://mirror.bit.edu.cn/apache/hadoop/common/2、scala-2.10.4.tgzhttp://www.scala-lang.org/download/2.10.4.html3、spark-2.0.0

[MGR——Mysql的組復制之多主模式 ] 詳細搭建部署過程

狀態 eve 語句 star mysql命令行 password 是否 集合 功能 組復制可以在兩種模式下運行。 1.在單主模式下，組復制具有自動選主功能，每次只有一個 server成員接受更新。2.在多主模式下,所有的 server 成員都可以同時接受更新.

Disconf 學習系列之全網最詳細的最新穩定Disconf 搭建部署（基於Ubuntu14.04 / 16.04）（圖文詳解）

class 6.0 conf ubuntu14 穩定 div ubun 搭建 學習 　　不多說直接上幹貨！ https://www.cnblogs.com/wuxiaofeng/p/6882596.html （ubuntu16.04） https

基於centos7.2最小化環境, cdh manager 及 cdh 叢集的部署過程常見問題整理

注：此篇文章主要面向對hadoop有一定了解的開發和運維人員，若是初次接觸hadoop叢集，具體安裝過程請更多參考Ambari的安裝部署教程：http://blog.csdn.net/balabalayi/article/details/64920537 CDH Manager的部署與安裝與Am

FineCMS 5.0.10 多個 漏洞詳細分析過程

i春秋作家：F0rmat 0x01 前言 已經一個月沒有寫文章了，最近發生了很多事情，水文一篇。 今天的這個CMS是FineCMS，版本是5.0.10版本的幾個漏洞分析，從修補漏洞前和修補後的兩方面去分析。 文中的evai是特意寫的，因為會觸發論壇的防護機制，還有分頁那一段的程式

spark的三種模式的詳細執行過程（基於standalone與基於yarn）

一、Standalone模式 1、使用SparkSubmit提交任務的時候(包括Eclipse或者其它開發工具使用new SparkConf()來執行任務的時候)，Driver執行在Client；使用SparkShell提交的任務的時候，Driver是執行在Master上 2、使用SparkSu

Centos7安裝VTigerCRM詳細過程(基於易邁雲)

Centos7安裝VTigerCRM詳細過程(基於易邁雲) CRM即客戶關係管理（CustomerRelationshipManagement）。顧客、關係、管理，這三個詞本身就足以讓我們頭大，更別提它們三個一起出現在一起。但vTigerCRM要做的事就是讓我們遠離疼痛，它

ELK實時日誌分析平臺部署搭建詳細實現過程

原文地址：http://www.linuxidc.com/Linux/2016-09/135137.htm 1、ELK平臺介紹 在搜尋ELK資料的時候，發現這篇文章比較好，於是摘抄一小段： 日誌主要包括系統日誌、應用程式日誌和安全日誌。系統運維和開發人員可以通過日

elk實時日誌分析平臺部署搭建詳細實現過程：加上個人實踐意見，及如何避坑

/* * Copyright 2002-2012 the original author or authors. * * Licensed under the Apache License, Version 2.0 (the "License"); * you m

基於 Ansible 快速部署 kubernetes 1.10.4 HA 高可用叢集

一、背景       菜鳥只是拿來試試，順便記錄下過程。二、部署過程2.1  準備機器      本次實驗準備了4臺虛機，192.168.5.201~204 ，主機名 node-01 ~ node-04      node-01 當作部署機，node-01~02 作為 Mas