2. 程式人生 > >【Docker篇四】Mesos+Zookeeper+Marathon+Docker實戰實驗

【Docker篇四】Mesos+Zookeeper+Marathon+Docker實戰實驗

阿新 • • 發佈：2018-08-21
開發工具 簡化 mark too 資源調度 ext 網絡 上線 root

Apache Mesos概述

不同的分布式運算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任務往往需要的資源（內存，CPU，網絡IO等）不同，它們運行在同一個集群中，會相互幹擾，為此，應該提供一種資源隔離機制避免任務之間由資源爭用導致效率下降,考慮到資源利用率，運維成本，數據共享等因素，公司一般希望將所有這些框架部署到一個公共的集群中，讓它們共享集群的資源，並對資源進行統一使用，這樣，便誕生了資源統一管理與調度平臺,典型的代表就是mesos.

Apache Mesos工作原理

Apache Mesos采用了master/slave結構來簡化設計，將master盡可能做的輕量級，僅保存了各種計算框架（Farmemork）和mesos slave的狀態信息，這些狀態容易在出現故障的時候被重構，除此之外，mesos還可以使用zookeeper解決master單點故障問題。

Mesos Master充當全局資源調度器角色，采用某種策略算法將某個slave上的空閑資源分配給某個Farmework，而各種Farmework則是通過自己的調度器向master註冊進行接入Mesos Slave則是收集任務狀態和啟動各個Farmework和Executor。原理圖如下：

技術分享圖片

實驗環境

技術分享圖片

安裝Apache Mesos

在每一臺服務器上安裝Apache Mesos服務，由於mesos安裝等待時間較長，本文在實驗環境下選擇使用一臺安裝好mesos的虛擬機進行克隆，然後進行後續操作。

1、配置Java環境

  • 由於軟件需求，mesos運行環境需要在Linux內核版本為3.10以上才可使用。

cat /etc/redhat-release //查看Linux版本
uname -r/a //查看內核版本

  • 解壓jdk軟件包

tar zxvf jdk-8u91-linux-x64.tar.gz -C /usr/local/
cd /usr/local
mv jdk1.8.0_91/ java

  • 配置jdk環境變量

vim /etc/profile

export JAVA_HOME=/usr/local/java    //末尾追加
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/jre/lib/ext:$JAVA_HOME/lib/tools.jar

source /etc/profile

2、安裝相關環境包

  • 安裝開發工具

yum groupinstall -y "Development Tools"

  • 添加apache-maven源,為Mesos提供項目管理和構建自動化工具的支持。

wget http://repos.fedorapeople.org/repos/dchen/apache-maven/epel-apache-maven.repo -O /etc/yum.repos.d/epel-apache-maven.repo

  • 安裝相關依賴包

yum install -y apache-maven python-devel zlib-devel libcurl-devel openssl-devel cyrus-sasl-devel cyrus-sasl-md5 apr-devel apr-util-devel subversion-devel

  • 配置WANdiscoSVN網絡源

vim /etc/yum.repos.d/wandisco-svn.repo

[WANdiscoSVN]
name=WANdisco SVN Repo 1.9
enabled=1
baseurl=http://opensource.wandisco.com/centos/7/svn-1.9/RPMS/$basearch/
gpgcheck=1
gpgkey=http://opensource.wandisco.com/RPM-GPG-KEY-WANdisco
  • 配置Mesos環境變量

vim /etc/profile

export MESOS_NATIVE_JAVA_LIBRARY=/usr/local/lib/libmesos.so
export MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so

3、構建Mesos

wget http://www.apache.org/dist/mesos/0.25.0/mesos-0.25.0.tar.gz

tar zxvf mesos-0.25.0.tar.gz -C /opt/
mv mesos-0.25.0/ /root/
cd /root/mesos-0.25.0
mkdir build
cd /build 創建build為編譯安裝目錄
../configure 執行安裝程序

make 等待時間較長（需要服務器保持在線狀態）
make check
make install

  • 此處安裝好mesos軟件後即可克隆主機。

配置單臺Mesos-master與Mesos-Slave

Mesos-Master負責維護slave群集的心跳，從slave提取資源信息。配置之前需要做好相應的解析工作。

1、配置Mesos-master

  • 修改主機名稱

hostnamectl set-hostname master

vim /etc/hosts

192.168.144.114 master    //此時只做單臺master與slave，若遇多臺則解析內容需要增加
192.168.144.119 slave1

bash 刷新生效主機名，或者重啟服務器

  • 創建master啟動命令軟連接

ln -sf /root/mesos-0.25.0/build/bin/mesos-master.sh /usr/sbin/mesos-master

  • 啟動mesos-master

mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0

--work_dir 指定工作目錄
--log_dir  指定日誌生成位置
--no-hostname_lookup 不指定域名解析
--ip=0.0.0.0 任意網段均可訪問
  • 本地驗證訪問mesos開啟狀態，瀏覽器打開http://192.168.144.114:5050/

技術分享圖片

2、配置Mesos-slave

  • 修改主機名稱

hostnamectl set-hostname slave1
vim /etc/hosts

192.168.144.114 master    //此時只做單臺master與slave，若遇多臺則解析內容需要增加
192.168.144.119 slave1
  • 創建slave啟動命令軟連接

ln -sf /root/mesos-0.25.0/build/bin/mesos-slave.sh /usr/sbin/mesos-slave

  • 安裝docker，由於slave需要接受master的調度執行容器運行，因此需要安裝docker

yum install docker -y
systemctl start docker.service
systemctl enable docker.service

  • 啟動slave

mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=192.168.175.132:5050 --no-hostname_lookup --ip=0.0.0.0

--containerizers="mesos,docker"  添加容器參數，使docker的容器可以被配置去執行任務或者執行器。
  • 啟動slave後，再次訪問mesos-matser，可以看到已有一臺slave上線，且可看到詳細信息。

技術分享圖片

技術分享圖片

配置多臺Mesos-Master+Slave+zookeeper+marathon

1、配置多臺Mesos-master

  • 配置多臺master方式與單臺方式相同，唯一區別在於修改域名解析文件/etc/hosts
  • 三臺mesos-master配置完全相同，只是最後啟動時需要指定本身IP這點不同

vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2
  • 使用hostnamectl將主機名修改成master、master1和master2
  • mesos-master配置完成暫時不要啟動，當後面配置完、啟動zookeeper後再啟動

2、配置多臺Mesos-slave

  • 配置方式如同單臺slave配置方式，只有/etc/hosts文件需要添加，並且也需要安裝docker，並且啟動服務。

vim /etc/hosts

192.168.144.114 master
192.168.144.117 master1
192.168.144.118 master2
192.168.144.119 slave1
192.168.144.120 slave2

3、在所有master上安裝zookeeper

  • 每一臺master上的zookeeper配置文件都相同，配置文件修改也相同，需要指定有哪一些master安裝了zookeeper

tar zxvf zookeeper-3.4.13.tar.gz -C /home/q/

cd zookeeper-3.4.13/

mv conf/zoo_sample.cfg conf/zoo.cfg 註意sample.cfg與zoo.cfg只能存在一個，只能識別一個cfg

  • 在其中一臺master上操作

cd /home/q/zookeeper-3.4.13/conf

vim zoo.cfg 

dataDir=/home/q/zookeeper-3.4.6/data            //修改數據存放目錄
dataLogDir=/home/q/zookeeper-3.4.6/datalog      //日誌文件位置
server.1=192.168.144.114:2888:3888              //server後面跟上區分每一臺master標識
server.2=192.168.144.117:2888:3888
server.3=192.168.144.118:2888:3888
  • 將修改好的配置文件傳輸給其他master，切記先將原有sample配置文件重命名或者刪除

scp zoo.cfg 192.168.144.117:/home/q/zookeeper-3.4.13/conf/
scp zoo.cfg 192.168.144.118:/home/q/zookeeper-3.4.13/conf/

  • 為每臺master設置標識
//在master主機上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 1 > data/myid
cat data/myid

//在master1主機上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 2 > data/myid
cat data/myid 

//在master2主機上操作（/home/q/zookeeper-3.4.13/中）
mkdir data datalog 
echo 3 > data/myid
cat data/myid
  • 啟動所有master上的zookeeper
cd /home/q/zookeeper-3.4.13/
//在master主機上啟動服務
./bin/zkServer.sh start conf/zoo.cfg 

//在master1主機上啟動服務
./bin/zkServer.sh start conf/zoo.cfg

//在master2主機上啟動服務
./bin/zkServer.sh start conf/zoo.cfg

//查看leader
./bin/zkServer.sh status
  • 啟動所有master和slave上的mesos服務
//master
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.114:2181/mesos --quorum=2   //想要在後臺運行後面加上&>/dev/null &即可

//master1
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.117:2181/mesos --quorum=2

//master2
mesos-master --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --no-hostname_lookup --ip=0.0.0.0 --zk=zk://192.168.144.118:2181/mesos --quorum=2

-----------------------
//在slave1上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0

//在slave2上
mesos-slave --containerizers="mesos,docker" --work_dir=/home/q/mesos/data --log_dir=/home/q/mesos/logs --master=zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --no-hostname_lookup --ip=0.0.0.0

4、在所有master上安裝marathon

  • 下載marathon軟件壓縮包

wget http://downloads.mesosphere.com/marathon/v0.15.2/marathon-0.15.2.tgz

tar zxvf marathon-0.15.2.tgz -C /home/q/

  • marathon軟件包不需要安裝，解壓後即可使用，所有master上安裝好marathon後，每臺啟動方式如下
  • 每臺mastermarathon啟動hostname後面跟上自己ip以及zookeeper區域所有服務器ip
./bin/start --hostname 192.168.144.114 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

./bin/start --hostname 192.168.144.117 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

./bin/start --hostname 192.168.144.118 --master zk://192.168.144.114:2181,192.168.144.117:2181,192.168.144.118:2181/mesos --http_address 0.0.0.0

  • 測試
    http://192.168.144.114:8080/

  • 建立test任務

查看任務執行情況。

技術分享圖片

技術分享圖片

使用mesos與marathon創建docker集群

vim nginx.json

{
"id":"/nginx",
"container":{
"type":"DOCKER",
"docker":{
"image":"nginx",
"network":"HOST",
"parameters":[],
"privileged":false,
"forcePullImage":false
}
},
"cpus":0.1,
"mem":32.0,
"instances":1
}
  • 在其中一臺master上新建終端執行

curl -X POST -H "Content-type:application/json" http://192.168.144.114:8080/v2/apps [email protected]

  • 在任務發布指定的slave上使用命令 ps aux | grep docker 查看到nginx正在下載
root       3668  0.0  0.6 121912 12872 pts/0    Sl+  10:20   0:00 /usr/bin/docker-current -H unix:///var/run/docker.sock pull nginx:latest
  • 此時也可去master上的marathon網站去查看任務是已下發執行。

技術分享圖片

docker images

REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
docker.io/nginx     latest              c82521676580        3 weeks ago         109 MB

docker ps -a

CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS               NAMES
9940ac858a3b        nginx               "nginx -g ‘daemon ..."   3 minutes ago       Up 3 minutes                            mesos-0d21cffd-8a12-450d-b6ff-4d4befcdaad0-S1.89e29728-37cb-4ea3-9518-2d9741ba7618

測試其中一臺slave

http://192.168.144.119訪問到Nginx首頁即實驗完成。

【Docker篇四】Mesos+Zookeeper+Marathon+Docker實戰實驗

相關推薦

【Docker篇四】Mesos+Zookeeper+Marathon+Docker實戰實驗

開發工具 簡化 mark too 資源調度 ext 網絡 上線 root Apache Mesos概述 不同的分布式運算框架(spark,hadoop,ES,MPI,Cassandra,etc.)中的不同任務往往需要的資源（內存，CPU，網絡IO等）不同，它們運行在同一個集

部署Mesos+zookeeper+Marathon+Docker實戰

結果 executor disco client lower key 伸縮 python 開發 Mesos是什麽？ Mesos是Apache下的開源分布式資源管理框架，它被稱為是分布式系統的內核。Mesos能夠在同樣的集群機器上運行多種分布式系統類型，更加動態有效率低共享資

Mesos+Zookeeper+Marathon+Docker分散式叢集管理最佳實踐

目錄 Mesos簡介 Zookeeper簡介 Marathon簡介 docker叢集實踐 Mesos叢集部署 一、Mesos簡介 Mesos是Apache下的開源分散式資源管理框架，它被稱為分散式系統的核心。Mesos最初是由加州大學伯克利分校

Mesos+ZooKeeper+Marathon+Docker分散式部署打造PaaS雲平臺實踐（一）

【編者的話】本文先給出一個分散式部署的過程，在完成這種分散式部署的過程花費了我一個週末的時間，因為國內幾乎沒有找到分散式部署的實踐過程記錄，希望我的實踐過程能夠給有興趣的小夥伴在進行分散式部署中提供一定的幫助。最近開始對Mesos非常的感興趣，Mesos和Docker一樣是一

【Docker篇之一】Docker鏡像及容器

官方 bin 方便 load 停止 pac 例如 exec cpu使用率 一、Docker核心概念 1、鏡像(image) Docker的鏡像是創建容器的基礎，類似虛擬機的快照，可以理解為是一個面向Docker容器引擎的只讀模板，比如一個鏡像可以是一個完整的centos操

Yum安裝mesos+zookeeper+marathon管理docker集群

tick datadir 參加 重定向 狀態信息 實現 官方 tro ln -s Yum安裝mesos+zookeeper+marathon管理docker集群 Apache-Mesos簡介 Apache-Mesos是一款基於多資源(內存、CPU、磁盤、端口等)調度的開源

【Web自動化測試——代碼篇四】常用方法——常見元素操作

fin pack 百度輸入 submit .get ted baidu 百度搜 內容 瀏覽器這個大框架我們都能控制，區區頁面小元素又能奈我們何！！！之前的【Web自動化測試——代碼篇二】條條大路找元素 已經講述了許多獲取元素的方法，在此基礎上我們來認識幾個元素最常見的相關操

【Web篇05】JSP、JSP表示式、JSP四個域、EL表示式、EL四個域 之間的區別

一、JSP Java ServerPages，即java伺服器頁面，本質是Servelt，存放在伺服器中，用於頁面顯示； 它的主要構成有HTML網頁程式碼、Java程式碼片段、JSP標籤幾部分組成，字尾是.jsp。 （1）JSP指令碼元素：是嵌入到JSP中Java程式碼段，格式以**<

Mesos+Zookeeper+Marathon的Docker管理平臺部署記錄（2）--負載均衡marathon-lb

[[email protected] ~]# docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS

Mesos+Zookeeper+Marathon的Docker管理平臺部署記錄（1）

隨著"網際網路+"時代的業務增長、變化速度及大規模計算的需求，廉價的、高可擴充套件的分散式x86叢集已成為標準解決方案，如Google已經在幾千萬臺伺服器上部署分散式系統。Docker及其相關技術的出現和發展，又給大規模叢集管理帶來了新的想象空間。如何將二者進行有效地結合？下面將記錄使用Mesos+Zoo

【JEECG Dubbo專題】Dubbo+Zookeeper+Spring整合應用篇-Dubbo基於Zookeeper實現分散式服務（二）...

Dubbo與Zookeeper、Spring整合使用 Dubbo採用全Spring配置方式，透明化接入應用，對應用沒有任何API侵入，只需用Spring載入Dubbo的配置即可，Dubbo基於Spring的Schema擴充套件進行載入。 一：單機模式安裝zookeepe

這貨到底還是不是垃圾？【垃圾回收GC演算法JVM篇四】

目錄 1、判斷物件是否存活的JVM兩種計數演算法 2、垃圾收集演算法 3、垃圾回收演算法小結 垃圾收集 Garbage Collection 通常被稱為“GC”， 在jvm 中，程式計數器、虛擬

【三十四】thinkphp之curd操作

傳遞 nfa ace meta png 設置 顯示 logs 對象 1.數據創建（create） 接受提交過來的數據，比如表單提交的 POST（默認）數據。接受到數據後，還可以對數據進行有效的驗證、完成、生成等工作 // 這裏 create()方法就是數據創建，

【Django筆記四】Django2.0中的表單

安裝 ads 分享圖片 操作 修改 and 9.png context blank 一、環境版本信息： 操作系統：windows10 Django版本：2.0.5 Python版本：3.6.4 Mysql版本： 5.

【Java篇03】具體類 & 抽象類 & 介面 —— 繼承extends & 實現Implement小結

一、具體類 & 抽象類 $ 介面 從組成上來看： 具體類包含：屬性、構造器、具體方法、初始化塊（靜態語句塊static{ } 、動態語句塊{ }）、內部類 ； 抽象類包含：屬性、構造器、具體方法、抽象方法（需要用public abstract修飾）； 介面包含：屬性、抽象方法（一

【Java篇04】抽象方法中可以有static屬性和方法嗎？小結

抽象方法中可以有Static屬性和方法嗎？ 對於這個問題，網上眾說紛紜，其實，抽象類中是可以包含static屬性和static方法的，最典型的例子：Calendar類 下面直接上Calendar類的原始碼： public abstract class Calendar impleme

【Web篇08】Web中MVC設計理念 & 經典三層架構 & 五大主流框架

一、Web的MVC設計理念和MVC框架： 之前在Web篇04中已經詳述了Servlet、TomCat、JSP和Web.xml之間的聯絡； （1）瀏覽器傳送請求到收到響應，簡要的過程如下： 瀏覽器傳送請求後，由Web.xml中規定的協議，進入TomCat中特定的Servlet，伺服器先

【Web篇07】如何理解架構、框架、設計模式

架構、框架和設計模式是Web初學者比較難理解和表述的三個概念，在查閱了大量前人寫的部落格和資料後，將這三個概念和Web的經典三層架構搭配講解，總結如下： 一、架構 FrameWork 架構可以理解成對客戶的需求進行拆分，抽象出不同的元件，不同的抽象元件完成不同的功能，偏於設計一個草圖

【Java篇02】二進位制、十進位制、十六進位制之間的相互轉換

1. 二進位制 -> 十六進位制 eg: 二進位制數 1001 1010； 通過1248賦值法，即 1001 1010 8421 8421 --------------- 1+8=9 , 2+8=10； 即二進位制數1001 1010，對應十六進位制的數為 o

【Web篇03】Spring框架下，servlet響應的res在jsp頁面中顯示時，防止亂碼的操作

首先，在Spring軟體中，找到Web工程，src下的對應的servlet； 在servlet中獲取請求引數之後，給瀏覽器傳送響應之前； 需要鍵入一段程式碼即可，如下： response.setContentType("text/html;charset=UTF-8"); 括號內的