Docker已經出來好長時間了，一直沒有時間研究，正好最近有個專案部署在一臺記憶體和CPU都超誇張的機器上，而專案因併發量增加，後面肯定也需要擴充套件了。因為這臺伺服器記憶體和CPU都足夠大，部署一個專案實在太浪費了，於是想到用docker部署方式做橫向擴充套件。

首先想到的方案就是nginx做負載均衡，再加多臺docker的方式部署專案。思路很簡單，但在真正操作的時候，遇到各種各樣的問題，所以說實踐是最好的老師一點沒錯。

準備docker

跟同學借了一臺亞馬遜的雲作為測試環境

Linux ip-10-200-8-1044.9.20-11.31.amzn1.x86_64 #1 SMP Thu Apr 13 01:53:57 UTC 2017 x86_64 x86_64x86_64 GNU/Linux

安裝docker，

通過yum方式安裝

yum install docker –y

配置docker的映象源

因為被牆了，貌似很多docker映象都下載不下來，可以配置docker映象的地址為國內的地址。其實很簡單，改下一個docker的配置檔案就好了。在/etc/docker目錄下面有個daemon.json的檔案，修改下就行了。

cd/etc/docker

vim daemon.json

修改為如下內容：

{

"registry-mirrors": [

"http://8fcab180.m.daocloud.io"

],

"insecure-registries": []

}

配置DockerFile

專案是基於struts2+mybatis的web專案，用到oracle資料庫和redis快取。因為要做這種橫向擴充套件所以要解決session共享問題，用的spring session，快取自然也是redis，這塊後面再講。

DockerFile檔案配置如下：

#docker容器使用linux系統

FROM ubuntu:14.04

MAINTAINER tonggu<[email protected]>

ENV REFRESHED_AT 2017-8-20

#安裝tomcat7

RUN apt-get -yqq update

RUN apt-get -yqq install tomcat7default-jdk

#設定時區和時間（這個很重要，不然oracle資料庫連不上，在這個上面花了好長時間）

RUN cp /usr/share/zoneinfo/Asia/Shanghai/etc/localtime && \

   echo "Asia/Shanghai" > /etc/timezone && \

   date

#設定tomcat的環境變數

ENV CATALINA_HOME /usr/share/tomcat7

ENV CATALINA_BASE /var/lib/tomcat7

ENV CATALINA_PID  /var/run/tomcat7.pid

ENV CATALINA_SH   /usr/share/tomcat7/bin/catalina.sh

ENV CATALINA_TMPDIR/tmp/tomcat7-tomcat7-tmp

RUN mkdir -p $CATALINA_TMPDIR

#對映釋出程式目錄

VOLUME["/var/lib/tomcat7/webapps/"]

#把8080埠映射出去

EXPOSE 8080

#docker容器啟動的時候啟動tomcat

ENTRYPOINT["/usr/share/tomcat7/bin/catalina.sh", "run" ]

啟動/停止docker

#啟動docker

sudo service docker start

#停止

sudo service docker stop

下載docker映象檔案

切換到DockerFile所在目錄，然後執行下面的命令

sudo docker build -t ifa/erp-web .

這段命令的意思是通過DockerFile檔案生成一個名字叫ifa/erp-web的映象，需要執行的命令都已經在DockerFile裡面寫好了。

若執行完了，可以檢視下映象

sudo docker images

顯示結果：

REPOSITORY  TAG          IMAGE ID     CREATED       SIZE

ifa/erp-web   latest        503a44ae7b40  21 hours ago   454 MB

執行docker容器

我一共部署兩個docker容器，所以啟動了兩個。一個是erp-web1，一個是erp-web2，然後用伺服器的8001和8002埠分別對映容器的8080埠。

注意：/var/lib/docker/data和/var/lib/docker/logs這兩個目錄要預先建立，其中/data目錄放要釋出的專案war包，因為對映到了容器中的/var/lib/tomcat7/webapps目錄，所以容器啟動的時候，相當於放在tomcat的webapps目錄下面，等tomcat啟動的時候就會自動釋出了。/logs目錄為日誌目錄，方便檢視日誌用。

sudo docker run -it -d --name erp-web1 -p 8001:8080 -v/var/lib/docker/data:/var/lib/tomcat7/webapps -v /var/lib/docker/logs:/logsifa/erp-web ubuntu /bin/bash

sudo docker run -it -d --name erp-web2 -p 8002:8080 -v /var/lib/docker/data2:/var/lib/tomcat7/webapps-v /var/lib/docker/logs2:/logs ifa/erp-web ubuntu /bin/bash

上面兩個命令會啟動兩個docker容器，一個是erp-web1，一個是erp-web2，可以通過下面的命令檢視。

sudodocker ps

顯示結果：

CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                        NAMES

b02d455b3393        ifa/erp-web         "/usr/share/tomcat..."   19 hours ago        Up 42 minutes       1521/tcp, 9000/tcp,0.0.0.0:8002->8080/tcp   erp-web2

473cb6b2837c        ifa/erp-web         "/usr/share/tomcat..."   19 hours ago        Up 42 minutes       1521/tcp, 9000/tcp, 0.0.0.0:8001->8080/tcp   erp-web1

到目前為止其實已經完成docker的啟動了，專案也可以正常訪問了。

訪問地址：

接下來就是要配置nginx，nginx採用8080埠，然後通過負載均衡和反向代理對映到上面兩個地址上。

準備nginx

安裝nginx

依然採用yum安裝方式

yum install nginx –y

配置nginx

修改配置檔案/etc/nginx/nginx.conf

# For more information on configuration,see:

#   *Official English Documentation: http://nginx.org/en/docs/

#   *Official Russian Documentation: http://nginx.org/ru/docs/

user nginx;

worker_processes auto;

error_log /var/log/nginx/error.log;

pid /run/nginx.pid;

events {

   worker_connections 1024;

}

http {

   include      /etc/nginx/mime.types;

    default_type application/octet-stream;

   log_format  main  '$remote_addr - $remote_user [$time_local]"$request" '

                      '$status $body_bytes_sent"$http_referer" '

                     '"$http_user_agent" "$http_x_forwarded_for"';

   access_log /var/log/nginx/access.log  main;

   sendfile        on;

   #tcp_nopush     on;

    #連線超時時間

   keepalive_timeout  65;

   tcp_nodelay        on;

    #開啟gzip壓縮

   gzip  on;

   gzip_disable "MSIE [1-6]\.(?!.*SV1)";

    #設定請求緩衝

   #client_header_buffer_size    1k;

   #large_client_header_buffers  44k;

   client_body_buffer_size 1024k;

   client_max_body_size 100m;

   include /etc/nginx/conf.d/*.conf;

   include /etc/nginx/sites-enabled/*;

   upstream www.tonggu.com {

             server localhost:8001;

             server localhost:8002;

    }

   server {

       #偵聽8080埠

       listen       8080;

       #定義使用www.xx.com訪問

       server_name  localhost;

       index        welcome.html;

       #設定本虛擬主機的訪問日誌

       #access_log  logs/www.wangjingfeng.com.access.log  main;

                       #預設請求

                       #location / {

              #proxy_redirect off;

                                         #proxy_set_header Host $host;

                                        #proxy_set_header X-Real-IP $remote_addr;

                                         #proxy_set_header X-Forwarded-For$proxy_add_x_forwarded_for;

                                         #proxy_pass http://www.tonggu.com;

                    #}

           location / {

                root /var/lib/docker/data;

                expires 30d;

           }

                       #靜態檔案，nginx自己處理

                       location ~ ^/(images|javascript|js|css|flash|media|static)/{

                           root /var/lib/docker/data;

                           #過期30天，靜態檔案不怎麼更新，過期可以設大一點，如果頻繁更新，則可以設定得小一點。

                           expires 30d;

                       }

                       #靜態檔案，nginx自己處理

                       location ~ ^/(upload)/ {

                           root /var/lib/docker/data;

                           #過期30天，靜態檔案不怎麼更新，過期可以設大一點，如果頻繁更新，則可以設定得小一點。

                           expires 30d;

                       }

       #設定訪問靜態檔案直接讀取不經過tomcat

       location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|js|css|html|mp3|apk|doc|xls)$

       {

               root /var/lib/docker/data;

                expires      30d;

       }       

                       #PHP 指令碼請求全部轉發到 FastCGI處理. 使用FastCGI預設配置.

                       location ~ \.whtml$ {

                        #set $args"iface-server";

                          #proxy_redirectoff;

                           #proxy_set_header Host $host;

                            #proxy_set_headerX-Real-IP $remote_addr;

                            #proxy_set_headerX-Forwarded-For $proxy_add_x_forwarded_for;

                            proxy_passhttp://www.tonggu.com; 

                       }

                       # 定義錯誤提示頁面

                       error_page  500 502 503 504 /50x.html;

                           location = /50x.html {

                           root  html;

                       }

    }

}

啟動nginx

#啟動

sudo service start nginx

#停止

sudo service stop nginx

#重啟載入配置檔案

sudo nignx –s reload

現在通過以下地址就能訪問了：

至此已經完成了nginx+docker的配置，這個配置不算複雜，當然在操作過程中主要把時間花在解決映象源上和資料庫無法連線上，前面已經標記出了這些坑及解決方法。

Session共享檔案及解決方案

下面講下如何解決session共享問題，首先想到的就是用spring session解決共享問題。其實現在很多專案都做前後端分離，一般都是採用在http頭中新增token的方式來解決不同使用者不同憑證的問題。當然也可以採用cookie的方式來解決，而spring session都能解決。

關於spring session的配置及其原來在網上有很多，這裡主要講下我碰到的問題。

第一次配置的時候直接返回docker裡面的服務是生效的，當通過nginx卻不生效，開始我以為是nginx的問題，導致session丟失，但通過nginx連線單臺docker卻是生效的。（我這裡的生效主要是專案比較特殊，不生效的時候可以登入，但進不了主頁。另外生效的時候在redis裡面可以看到spring放進去的key，未生效的時候看不到。）

以下是我的配置：

web.xml的配置：

<filter>

<filter-name>springSessionRepositoryFilter</filter-name>

<filter-class>org.springframework.web.filter.DelegatingFilterProxy</filter-class>

</filter>

<filter-mapping>

<filter-name>springSessionRepositoryFilter</filter-name>

<url-pattern>/*</url-pattern>

<dispatcher>REQUEST</dispatcher>

<dispatcher>ERROR</dispatcher>

</filter-mapping>

HttpSessionConfig.java

@EnableRedisHttpSession

publicclass HttpSessionConfig {

}

application-redis.xml

<context:annotation-config/>

<context:component-scanbase-package="com.saier.erp"/>

<!-- 建立redis工廠 -->

<beanid="jedisFactory"       class="org.springframework.data.redis.connection.jedis.JedisConnectionFactory">

<propertyname="hostName"value="XXX.XXX.XXX.XXX"/>

<propertyname="port"value="6379"/>

<propertyname="usePool"value="true"/>

</bean>

後來看了下spring session及其servelet的原理，spring session本質上是加了一層filter，在filter裡面處理session，這樣的話這個filter必須配置在第一個，如果有多個filter的話。

於是調整了下filter的位置放到了第一個。再看呼叫順序是listener——>filter——>interceptor，發現我在listener和interceptor裡面有使用到session的東西。而因為filter在listener之後，所以在listener裡面是取不到spring session設定的session內容的，而interceptor可以。於是把listener裡面獲取session的內容挪到interceptor裡面再處理。

其他還有就是啟動的時候報如下錯誤的話加上下面這句就可以了。

錯誤內容：

新增配置：

<context:component-scanbase-package="org.springframework.web.filter.DelegatingFilterProxy"/>