2. 程式人生 > >阿裏雲環境遷移記錄 - 服務監控及報警

阿裏雲環境遷移記錄 - 服務監控及報警

阿新 • • 發佈：2019-02-19
replicat automatic service 連接 mailx naigos 大致 mes nor

服務監控的方案有很多，譬如naigos，zabbix這種，不但可以監控服務，還可以監控cpu、內存、磁盤、網絡流量、服務端口等，關於naigos和zabbix的搭建配置，需要另外篇幅介紹，這裏使用服務器自身的定時任務+腳本+郵件功能完成一個簡單的監控。

Part1 郵件服務搭建

安裝mailx

yum -y install mailx

############################
##qq個人郵箱配置
############################

vim /etc/mail.rc
添加如下配置：

set [email protected]
set smtp=smtps://smtp.qq.com:465
set [email protected]
set smtp-auth-password=你的 QQ 郵箱授權碼 （登錄qq郵箱到賬戶設置中，打開smtp服務時，提示的驗證碼，此驗證碼非密碼。）
set smtp-auth=login
#set smtp-use-starttls 這裏是不需要配置的，很多地方沒說明，配置了反而會驗證失敗，所以我註釋掉；
set ssl-verify=ignore
set nss-config-dir=/root/.certs

##創建證書

mkdir -p /root/.certs/
cd /root/.certs/
echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p‘ > ~/.certs/qq.crt
certutil -A -n "GeoTrust SSL CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
certutil -A -n "GeoTrust Global CA" -t "C,," -d ~/.certs -i ~/.certs/qq.crt
certutil -L -d /root/.certs
##認證
certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt

#返回如下提示即可：
Notice: Trust flag u is set automatically if the private key is present.

#發送主題為“郵箱測試”，內容為當前目錄下 message_fiel.txt 文件內容到 [email protected] 郵箱。
mailx -s "郵箱測試" [email protected] < message_file.txt

############################
##qq企業郵箱配置
############################

vim /etc/mail.rc
添加如下配置:

set [email protected]
set smtp=smtps://smtp.exmail.qq.com:465
set [email protected]
set smtp-auth-password=*****(登錄密碼，不同於個人郵箱的授權碼)
set smtp-auth=login
set ssl-verify=ignore
set nss-config-dir=/etc/pki/nssdb/

cd /etc/pki/nssdb/
#生成證書

echo -n | openssl s_client -connect smtp.qq.com:465 | sed -ne ‘/-BEGIN CERTIFICATE-/,/-END CERTIFICATE-/p‘ > /etc/pki/nssdb/qq.crt 
certutil -A -n "GeoTrust SSL CA" -t "C,," -d /etc/pki/nssdb/ -i /etc/pki/nssdb/qq.crt 
certutil -A -n "GeoTrust Global CA" -t "C,," -d /etc/pki/nssdb/ -i /etc/pki/nssdb/qq.crt 
certutil -L -d /etc/pki/nssdb/ 
certutil -A -n "GeoTrust SSL CA - G3" -t "Pu,Pu,Pu" -d ./ -i qq.crt #認證

同樣，認證完會返回如下提示：
Notice: Trust flag u is set automatically if the private key is present.

##測試
echo "this email come from centos 172.26.27.71"|mail -v -s "mysql check test" [email protected]

Part2 監控腳本準備

  1. mysql監控腳本

大致想法：mysql監控腳本分別運行在兩個實例上，如果當前實例宕機，則重啟本機mysql服務，如果其他服務器上的mysql連接不上則郵件通知。

#!/bin/bash

notify_addr=‘[email protected],[email protected]‘
error_log="/opt/script/logs/check_mysql.err"

###定義一個簡單判斷mysql是否可用的函數
function excute_query {
    echo -e "`date "+%F  %H:%M:%S"`    -----checking mysql instance $1 by querying -----" >> ${error_log}
    /usr/local/mysql/bin/mysql -uroot -p88gongxiangMYSQL -h $1 --port 30468 -e "select 1;" 2>> ${error_log}
}

###定義無法執行查詢，且mysql服務異常時的處理函數
function service_error {
    echo -e "`date "+%F  %H:%M:%S"`    -----mysql service error，notify manager now-----" >> ${error_log}
    systemctl restart mysql.service
    echo "$1 無法連接並被重啟"|mail -s "MYSQL $1 實例正在被重啟, 請及時登錄查看狀態！" ${notify_addr} 2>> ${error_log}
    echo -e "\n---------------------------------------------------------\n" >> ${error_log}
}

###定義無法執行查詢,但mysql服務正常的處理函數
function query_error {
    echo -e "`date "+%F  %H:%M:%S"`    -----mysql instance $1 query error, retry after 30s-----" >> ${error_log}
    sleep 30
    excute_query $1
    if [ $? -ne 0 ];then
        echo -e "`date "+%F  %H:%M:%S"`    -----mysql instance $1 still can‘t execute query-----" >> ${error_log}
        echo "mysql isntance $1 is down"|mail -s "MYSQL $1 無法連接查詢, 請及時處理！from(172.26.27.70)" ${notify_addr} 2>> ${error_log}
    else
        echo -e "`date "+%F  %H:%M:%S"`    -----mysql instance $1 query ok after 10s-----" >> ${error_log}
        echo -e "\n---------------------------------------------------------\n" >> ${error_log}
    fi
}

###監控本機mysql狀態
excute_query 172.26.27.70
if [ $? -ne 0 ];then
     systemctl status mysql.service  &>/dev/null
    if [ $? -ne 0 ];then
        service_error 172.26.27.70
    else
        query_error 172.26.27.70
    fi
  else
     echo -e "\n-----------mysql instance 172.26.27.70 is ok for query-------------\n" >> ${error_log}
fi
###監控備機mysql狀態
excute_query 172.26.27.71
if [ $? -ne 0 ];then
      query_error 172.26.27.71
    else
     echo -e "\n-----------mysql instance 172.26.27.71 is ok for query-------------\n" >> ${error_log}
fi
  1. mongo監控腳本

大致思想：通過mongo命令登錄或者mongostat判斷節點是否正常運行。

notify_addr=‘[email protected],[email protected]‘
error_log="/opt/script/logs/check_mongo.err"

###定義一個簡單判斷mysql是否可用的函數
function connect_db {
    echo -e "`date "+%F  %H:%M:%S"`    -----checking mongo instance $1 by login -----" >> ${error_log}
    echo "db.serverStatus().mem" | /usr/local/mongodb/bin/mongo admin -uroot -p88gongxiangds --host $1 --port 20467  2>> ${error_log}
}

function replication_stat_query {
    echo -e "`date "+%F  %H:%M:%S"`    -----checking mongo instance $1 by mongostat -----" >> ${error_log}
    /usr/local/mongodb/bin/mongostat --uri=mongodb://suroot:88gongxiangds@$1:20467/admin  2>> ${error_log}
}

###定義無法執行查詢，且mysql服務異常時的處理函數
function service_error {
    echo -e "`date "+%F  %H:%M:%S"`    -----mongo service $1 error，notify manager now-----" >> ${error_log}
    ##/usr/local/mongo/bin/mongod -f /etc/mongo.conf --shutdown
    echo "$1 mongo連接失敗，請及時處理"|mail -s "Mongo $1 實例無法連接, 請及時登錄處理！from(172.26.27.70)" ${notify_addr} 2>> ${error_log}
    echo -e "\n---------------------------------------------------------\n" >> ${error_log}
}

###監控本機mongo node 狀態
function monitor_node {
connect_db $1 
if [ $? -ne 0 ];then
    service_error $1
 #else
 #replication_stat_query $1
 #if [ $? -ne 0 ];then
 #service_error $1
 #else
 #echo -e "\n-----------mongostat of node $1 is ok! -------------\n" >> ${error_log}
           echo -e "\n-----------mongo connection to  node $1 is ok! -------------\n" >> ${error_log}
 #fi
fi
}
###監控本機mongo node 狀態
monitor_node 172.26.27.70
monitor_node 172.26.27.71
monitor_node 172.26.27.72
  1. redis監控腳本

大致思想： 通過redis-cli登錄並檢索clusterinfo是否enable來判斷該節點及集群是否正常工作。

#!/bin/bash

notify_addr=‘[email protected],[email protected]‘
error_log="/opt/script/logs/check_redis.err"

###定義無法執行查詢，且mysql服務異常時的處理函數
function service_error {
    echo -e "`date "+%F  %H:%M:%S"`    -----redis service $1:$2 error，notify manager now-----" >> ${error_log}
    ##/usr/local/mongo/bin/mongod -f /etc/mongo.conf --shutdown
    echo "$1 redis連接異常，請及時處理"|mail -s "Redis $1:$2 節點連接失敗, 請及時登錄處理！(from 172.26.27.70)" ${notify_addr} 2>> ${error_log}
    echo -e "\n---------------------------------------------------------\n" >> ${error_log}
}

###監控redis 狀態
function monitor_node {
echo -e "`date "+%F  %H:%M:%S"`    -----checking mongo redis  $1:$2 by cli -----" >> ${error_log}
/usr/local/bin/redis-cli -h $1 -p $2 -a 88gongxiangrds info |grep  cluster_enabled
if [ $? -ne 0 ];then
    service_error $1 $2
    echo -e "\n-----------redis connection to  node $1:$2 is ok! -------------\n" >> ${error_log}
fi
}

###監控本機mongo node 狀態
monitor_node 172.26.27.70 6239
monitor_node 172.26.27.70 6339
monitor_node 172.26.27.71 6239
monitor_node 172.26.27.71 6339
monitor_node 172.26.27.72 6239
monitor_node 172.26.27.72 6339
  1. rabbitmq監控腳本

通過rabbitmqctl查看集群狀態或者節點狀態

#!/bin/bash

notify_addr=‘[email protected],[email protected]‘
error_log="/opt/script/logs/check_redis.err"

###定義無法執行查詢，且mysql服務異常時的處理函數
function service_error {
    echo -e "`date "+%F  %H:%M:%S"`    -----rabbitmq service  error，notify manager now-----" >> ${error_log}
    #ps -ef | grep ^rabbitmq | awk ‘{print $2}‘ | xargs kill -9
    #service rabbitmq-server start
    echo "$1 rabbitmq服務異常, 請及時處理"|mail -s " $1 RabbitMQ服務異常, 請及時登錄處理！（from $2）" ${notify_addr} 2>> ${error_log}
    echo -e "\n---------------------------------------------------------\n" >> ${error_log}
}

###監控rabbitmq 狀態
function monitor_node {
echo -e "`date "+%F  %H:%M:%S"`    -----checking mongo redis  $1:$2 by cli -----" >> ${error_log}
#/usr/lib/rabbitmq/bin/rabbitmqctl  cluster_status |grep cluster_name 
/usr/sbin/rabbitmqctl cluster_status | grep cluster_name

if [ $? -ne 0 ];then
    service_error $1 $2
    echo -e "\n-----------redis connection to  node $1:$2 is ok! -------------\n" >> ${error_log}
fi
}

monitor_node 172.26.27.72 172.26.27.72

Part3 定時任務配置

crontab -e

*/1 * * * *    /opt/script/check_mysql.sh  > /opt/script/logs/cron_result.log 2>&1
*/3 * * * *    /opt/script/check_mongo.sh  > /opt/script/logs/cron_result.log 2>&1
*/5 * * * *    /opt/script/check_redis.sh  > /opt/script/logs/cron_result.log 2>&1
*/5 * * * *    /opt/script/check_rabbitmq.sh  > /opt/script/logs/cron_result.log 2>&1

阿裏雲環境遷移記錄 - 服務監控及報警

相關推薦

阿裏雲環境遷移記錄 - 服務監控及報警

replicat automatic service 連接 mailx naigos 大致 mes nor 服務監控的方案有很多，譬如naigos，zabbix這種，不但可以監控服務，還可以監控cpu、內存、磁盤、網絡流量、服務端口等，關於naigos和zabbix的搭建配

阿裏雲環境遷移記錄 - MYSQL高可用搭建

group source 監控 instance rsyslog state root then 數據庫加密 MYSQL高可用方案主要分為兩大類，一類是前置管理，一類是後置管理。前置管理的思想是利用各種前置管理工具，動態切換或者分發請求到不同的實例並切換master，如ke

阿裏雲環境遷移記錄 - Mongo ReplicationSet搭建

only author x86_64 start rsync -av ole fast http storage mongo集群的搭建，至少需要3個節點，2兩個數據節點和1個仲裁節點，所以這裏使用三臺機器搭建一個包含3節點的replicationSet。 1. 下載解壓安裝

阿裏雲 輕量應用服務器（LAMP） 使用日誌記錄

grant 命令行 行刷新 cal res .com 遠程 輕量 ima 1：下載SSH工具這個需要有一個可視化的文件管理功能推薦使用 https://files.cnblogs.com/files/luomingui/SSHSecureShellClient-3.2.9

阿裏雲ESC搭建SVN服務端

臨時 阿裏 權限控制 onf config 配置參數 技術 mage stop 　　CentOS7）下yum命令快速安裝svn服務端，學習在思考中獨孤中度過，在孤獨中進取！ 01、SVN服務的安裝（subversion） 02、ESC安全組策略 1、在線安裝svn服務

阿裏雲 linux搭建git服務器

author 搭建 tails 登錄 命令 這一 sudo git ear git是非常方便的版本控制工具,目前網上有很多免費的git倉庫可以給我們使用，但是有些時候我們並不放心將我們的項目寄放在別人的服務器上，這個時候就需要自己搭建一個git服務器。 在linux上面

阿裏雲配置ssl證書服務遇到的幾個問題和解決方法

yun apache 通過 nbsp ssl證書 centos6 jpg www home 系統環境： 系統：阿裏雲ECS CentOS6.5+Apache2.4.10 前提：公司需要將站點升級到使用SSL證書服務（https） 實踐執行：在阿裏雲的證書服務--選擇了一個免

阿裏雲環境locust環境搭建

其他 分享 ges tail log 環境 環境準備 title event 環境準備：阿裏雲服務器一臺、python2.7、pip Locust 介紹 Locust 是一個開源負載測試工具。使用 Python 代碼定義用戶行為，也可以仿真百萬個用戶。 Locust 簡單

阿裏雲主機搭建SS服務[轉]

art brush linu 默認 -c method 字段 服務器 .com pip install shadowsocks touch /etc/shadowsocks.json vi /etc/shadowsocks.json 添加： { "server":

Windows下使用遠程桌面連接阿裏雲ubuntu 16.04服務器

png 十分 com -- 資源 xrdp 成功 apt-get date Windows圖形化遠程連接阿裏雲主機Ubuntu 16.04雲服務器前提：自己在做滲透測試的時候由於沒有公網IP，很苦惱自己搭建的環境無法公網訪問，就在網絡尋找資源，最開始使用的是花生殼的內網穿透

調用阿裏雲api獲取阿裏雲數據同步服務（DTS）並且作圖發送郵件的整個流程

python matplotlib 阿裏雲api 前言 在https://rorschachchan.github.io/2018/02/24/阿裏雲獲取DTS服務延遲的腳本/ 文章裏已經寫過，領導現在要求“每天查看阿裏雲dts同步的延遲情況和同步速率情況”，並且在https://rorschac

阿裏雲搭建流媒體服務器

流媒體服務器 阿裏雲 視頻直播系統 視頻點播系統 微信直播 最近不少人問是否能夠將雲視睿博流媒體服務器NTV Media Server G3搭建在阿裏雲服務器上，答案是肯定的，而且我們大部分客戶都是這樣用的，利用流媒體服務器的視頻處理和播出能力，以及阿裏雲的基礎計算能力和可擴展性，構建穩定

阿裏雲彈性裸金屬服務器-神龍架構（X-Dragon）揭秘

架構摘要： 在5月16日的飛天技術會新品直播中，特別邀請了業界知名大咖狒哥以及阿裏雲虛擬化資深專家旭卿作為現場直播的嘉賓。本次直播主要從產品背景到“X-Dragon架構”，從硬件設備到軟件應用來深度的剖析“X-Dragon架構”為彈性計算裸金屬服務器提供的極致計算能力。在5月16日的飛天技術會新品直播中，特別

比傳統事務快10倍？一張圖讀懂阿裏雲全局事務服務GTS

架構 分布式 摘要： 近日，阿裏雲全局事務服務GTS正式上線，為微服務架構中的分布式事務提供一站式解決方案。GTS有哪些功能，相比傳統事務的優勢在哪呢？我們通過一張圖讀懂GTS。近日，阿裏雲全局事務服務GTS正式上線，為微服務架構中的分布式事務提供一站式解決方案。GTS的原理是將分布式事務與具體業務分

助力企業數字化轉型，阿裏雲宣布企業服務合作夥伴計劃

分析 頭條 有限公司 閱讀 總經理 規模 交付 數字化 service 摘要： 邀請貴司成為阿裏雲企業服務合作夥伴~ 7月17日，阿裏雲正式發布了企業服務合作夥伴計劃（Enterprise Service Provider，簡稱ESP），將攜手多方生態夥伴深耕行業PaaS及

如何使用阿裏雲ARMS診斷Java服務端報錯問題

上下 EDA 創建 為什麽 iyu 錯誤日誌 接口 異常 click 摘要： 這是ARMS團隊推出的“網站常見問題1分鐘定位系列篇”第二文。 我的網站為什麽一錯再錯網頁報錯，尤其是5XX錯誤是互聯網應用最常見的問題之一。5XX錯誤通常發生於服務端。服務端是業務邏輯最復雜，

分享：擼阿裏雲2核4G服務器教程

1年 重新註冊 ref 怎麽 圖片 water 很多 ges 18C 阿裏雲拼團特惠價格低到勁爆，2核4G的配置269元1年、499元2年、699元3年，折合19元/月，這個價格買2C4G怕是哪個雲都買不來。但是呢，阿裏雲是有條件的，只有新用戶，很多老用戶望而卻步，其實很簡

利用阿裏雲搭建私有Git服務器

clone tar.gz 時報 郵箱 log 項目 fun con archive 服務器系統：Centos 6 （查看centos版本命令：lsb_release -a） 客戶端系統：Windows 7 一、服務器端安裝Git ==通常centos上使用yum源安裝

阿裏雲輕量應用服務器debian8.9用apache多端口搭建多站點

align load 重啟 文件 根目錄 def wid 自己 available 前幾天想要再搭個網站玩玩，就用阿裏的服務器，apache本地搭建站點和服務器相差不多，然而卻踩了大坑，差點耗死在這兒。 先進入apache這個目錄，有如下文件夾： 打開ports.conf

阿裏雲輕量應用服務器入門(二)

規則 通過 -a sun ren 應用服務器 地址 tor star 綁定並解析域名 登錄 輕量應用服務器控制臺，在 服務器列表 中點擊您需要配置的服務器。 在左側導航欄中，點擊 站點設置 > 域名， 點擊頁面右上方的 添加域名。