1. 程式人生 > >大資料元件服務的啟動與關閉命令

大資料元件服務的啟動與關閉命令

本文主要整理了大資料元件服務的啟動與關閉命令,主要包括Hadoop,Spark,HBase,Hive,Zookeeper,Storm,Kafka,Flume,Solr,ElasticSearch。 

1、Hadoop叢集
(1)啟動方式切換到主節點的hadoop安裝目錄下的sbin目錄下a)/start-dfs.sh ./start-yarn.sh (建議使用)b)./start-all.sh(2)關閉方式a)./stop-dfs.sh ./stop-yarn.sh (建議使用)b)./stop-all.sh

2、Spark叢集
切換到主節點的Spark安裝目錄下的sbin目錄下(1)啟動方式./start-all.sh(2)關閉方式./stop-all.sh

3、HBase叢集
(1)啟動方式先啟動Hadoop叢集,後啟動HBASE#cd $HBASE_HOME/bin#./start-hbase.sh(2)關閉方式#cd $HBASE_HOME/bin#./stop-hbase.sh(3)web訪問方式Masterhttp://192.168.2.12:60010/master-statusRegionServerhttp://192.168.2.12:60030/

4、Hive
hadoop必須已經啟動切換到節點的Hive安裝目錄下的bin目錄(1)啟動Hive:./hive 如果配置環境變數 直接輸入hive或者./hive --service cli

5、Kafka
切換到節點的Kafka安裝目錄下的bin目錄(1)啟動Kafka服務:./kafka-server-start.sh config/server.properties
後臺啟動命令: ./kafka-server-start.sh -daemon config/server.properties(2)檢視Kafka狀態:./zkServer.sh status(3)建立topic:./kafka-topics.sh --create --zookeeper localhost:主機ip --replication-factor 3 --partitions 1 --topic topic名字 (3是在配置檔案中配置的replication-factor,1是在partitions中配置的)(4)檢視topic:./kafka-topics.sh --list --zookeeper localhost:2181(5)傳送訊息:./kafka-console-producer.sh --broker-list localhost:9092 --topic topic名字(6)接收訊息:./kafka-console-consumer.sh --zookeeper localhost:2181 --topic topic名字--from-beginning(7)檢視topic情況:./kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic(8)刪除topic:./kafka-topics.sh --zookeeper localhost:2181 --delete --topic topic名字(9)關閉Kafka服務:1、jps檢視pid 2、kill -9 pid


6、ZooKeeper
切換到節點的zookeeper安裝目錄下的bin目錄(1)啟動ZK服務:./zkServer.sh start(2)檢視ZK服務狀態:./zkServer.sh status(3)停止ZK服務:./zkServer.sh stop(4)重啟ZK服務:./zkServer.sh restart

使用jps檢視:
jps
結果
QuorumPeerMain

7、Storm
切換到節點的Storm安裝目錄下的bin目錄(1)啟動Storm主結點:nohup ./storm nimbus > ../logs/info 2>&1 &(2)啟動Storm從結點:./storm supervisor > ../logs/info 2>&1 &(3)啟動Storm管理介面:./storm z ui> /dev/null 2>&1 &(4)啟動Storm日誌:nohup storm logviewer > /dev/null 2>&1 &(5)檢視任務:./storm list (6)殺死任務:./storm kill lifeCycle(任務名稱)


8、Flume
切換到Flume安裝目錄下
(1)啟動服務:bin/flume-ng agent -c conf -f flume-netcat.properties -name a -Dflume.root.logger=INFO,console(2)停止服務:1、jps檢視pid 2、kill -9 pid

9、Solr
進入安裝目錄下的example目錄(1)啟動服務:後臺執行solr,預設監聽8983埠nohup java -jar start.jar >/dev/null &(2)停止服務:java -DSTOP.PORT=8983 -DSTOP.KEY=solr -jar start.jar –stop

10、ElasticSearch
下載並解壓elasticsearch-servicewrapper-master把service目錄拷貝到ES_HOME/bin/目錄下面cd ES_HOME/bin/service(1)啟動服務:./elasticsearch start(2)關閉服務:./elasticsearch stop

11.sqoop
進入安裝目錄下
首先啟動server,再開啟shell
開啟服務: ./bin/sqoop2-server start
打卡shell: ./bin/sqoop2-shell
檢視安裝版本: ./bin/sqoop2-tool verify


12.MySql
啟動mysql mysql -u root -p
 

13.Kylin

啟動 kylin.sh start    停止 kylin.sh stop