MySQL 5.7和8.0效能測試
目錄
- 背景
- 前提
- 環境
- 測試
- 雙1模式下
- 0 2 模式下
- 結論
背景
測試mysql5.7和mysql8.0 分別在讀寫、只讀、只寫模式下不同併發時的效能（tps，qps）
前提
- 測試使用版本為mysql5.7.22和mysql8.0.15
- sysbench測試前先重啟mysql服務，並清空os的cache（避免多次測試時命中快取）
- 每次進行測試都是新生成測試資料後再進行mysql5.7和mysql8.0的測試
- 每次測試時保證mysql5.7和mysql8.0的配置引數一致
環境
機器
cat /etc/redhat-release | xargs echo '版本 ' && dmidecode -s system-product-name | xargs echo '是否虛擬化 ' && cat /proc/cpuinfo |grep "processor"|wc -l | xargs echo 'cpu核數 '
版本 CentOS Linux release 7.5.1804 (Core)
是否虛擬化 KVM
cpu核數 4
myql5.7.22
5.7.22-log innodb_buffer_pool_size 128M innodb_log_buffer_size 64M innodb_log_file_size 48M binlog_format ROW log_bin ON transaction_isolation REPEATABLE-READ
mysql8.0.15
8.0.15
innodb_buffer_pool_size 128M
innodb_log_buffer_size 64M
innodb_log_file_size 48M
binlog_format ROW
log_bin ON
transaction_isolation REPEATABLE-READ
sysbench
sysbench -V
sysbench 1.1.0 (using bundled LuaJIT 2.1.0-beta3)
測試
- 在不同的持久化策略下（binlog, redo log持久化）mysql5.7和mysql8.0 在讀寫模式、只讀模式、只寫模式（oltp_read_write，oltp_read_only，oltp_write_only）下的效能表現
- sysbench 測試時間為60s，測試的表數量為20
- 測試分別在雙1模式（安全性）和0 2模式（高效能）下進行
| 引數 | 可選值 | 含義 |
|---|---|---|
| sync_binlog | 0 | binlog刷盤持久化由作業系統完成，效能好，存在丟失binlog的風險 |
| sync_binlog | 1 | 事務提交後刷盤持久化，最安全 |
| sync_binlog | N | 在每N個事務提交後進行刷盤持久化 |
| innodb_flush_log_at_trx_commit | 0 | 每秒鐘寫redo log 並刷盤持久化 |
| innodb_flush_log_at_trx_commit | 1 | 事務提交後寫redo log 並刷盤持久化，最安全 |
| innodb_flush_log_at_trx_commit | 2 | 事務提交後寫redo log , 每秒刷盤持久化 |
雙1模式下
SHOW GLOBAL VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| innodb_flush_log_at_trx_commit | 1 |
| sync_binlog | 1 |
+--------------------------------+-------+mysql5.7和mysql8.0 在讀寫模式下的表現
- 雙1 配置，讀寫模式下，mysql5.7.22 和mysql8.0.15 tps 、qps 效能差不多，mysql8.0.15 在120 執行緒併發時，效能出現了下降抖動
mysql5.7和mysql8.0 在只讀模式下的表現
- 雙1 配置，只讀模式下，mysql5.7.22 的tps、qps比mysql8.0.15 好1/3 左右；併發執行緒數增加後，tps、qps並沒有隨著增加，反而出現了下降的趨勢
mysql5.7和mysql8.0 在只寫模式下的表現
- 雙1 配置，只寫模式下，隨著併發數的上升，mysql5.7.22 的效能比mysql8.0.15 好1/4左右
0 2 模式下
SHOW GLOBAL VARIABLES WHERE Variable_name IN('sync_binlog','innodb_flush_log_at_trx_commit');
+--------------------------------+-------+
| Variable_name | Value |
+--------------------------------+-------+
| innodb_flush_log_at_trx_commit | 2 |
| sync_binlog | 0 |
+--------------------------------+-------+mysql5.7和mysql8.0 在讀寫模式下的表現
- 0 2配置，讀寫模式下，併發數低時，mysql5.7.22效能好於mysql8.0.15; 併發數比較高時，mysql8.0.15 效能好於mysql5.7.22；在80 執行緒的併發以上時，效能開始下降
mysql5.7和mysql8.0 在只讀模式下的表現
- 0 2配置，只讀模式下，mysql5.7.22效能比mysql8.0.15 好1/3左右；隨著併發數的上升，效能也沒有上升，反而有下降的趨勢
mysql5.7和mysql8.0 在只寫模式下的表現
- 0 2 配置，只寫模式下，mysql5.7.22的tps 抖動比較大；mysql5.7.22 的qps比mysql8.0.15好1/3左右
結論
- 整體來看，mysql5.7.22在讀寫模式、只讀模式、只寫模式下的表現是優於mysql8.0.15的
- 隨著並行數的增加，效能表現不會也跟著增加，還會出現下降
- 本次測試結果是在配置很低的情況下進行的，不代表絕對
注意
sysbench 需要設定--db-ps-mode=disable 禁用預編譯語句，不然併發測試執行緒多時會報下面的錯誤
FATAL: mysql_stmt_prepare() failed
FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)"
FATAL: mysql_stmt_prepare() failed
FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)"
FATAL: thread_init' function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error FATAL: mysql_stmt_prepare() failed FATAL: MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements (current value: 16382)" FATAL:thread_init' function failed: /usr/local/share/sysbench/oltp_common.lua:288: SQL API error
FATAL: mysql_stmt_prepare() failed
使用指令碼
cat sysbench_test_mysql5.7_8.0_tps_qps.sh
#!/bin/bash
#用於sysbench 測試在讀寫模式、只讀模式、只寫模式下 mysql5.7和mysql8.0 的tps,qps
#nohup bash $0 >/tmp/sysbench_test 2>& 1 &
#
user=admin
passwd=admin
ports="8015 57222"
host=127.0.0.1
sysbench_test_mode="oltp_read_write oltp_read_only oltp_write_only"
sysbench_test_info_path=/tmp/sysbench-test
function red_echo () {
local what="$*"
echo -e "$(date +%F-%T) \e[1;31m ${what} \e[0m"
}
function check_las_comm(){
if [ $1 -ne 0 ];then
red_echo $2
exit 1
fi
}
function restart_mysqld(){
service mysqld${1} restart
sleep 2
}
function purge_binlog(){
port=$1
mysql -u$user -p$passwd -P$port -h$host<<EOF
purge binary logs before now();
EOF
}
function clean_os_cache(){
echo 3 > /proc/sys/vm/drop_caches
}
function sysbench_with_diff_thread(){
thread_num=$1
port=$2
order=$3
test_mode=$4
sysbench /usr/local/share/sysbench/${test_mode}.lua --mysql_storage_engine=innodb --table-size=100000 --tables=20 --mysql-db=test_1 --mysql-user=$user --mysql-password=$passwd --mysql-port=$port --mysql-host=$host --threads=$thread_num --time=60 --report-interval=2 --db-ps-mode=disable --events=0 --db-driver=mysql $order
}
function main(){
for test_mode in $sysbench_test_mode;do
for port in $ports;do
for thread_num in {5,10,20,30,40,80,120,200};do
restart_mysqld "$port"
check_las_comm "$?" "restart mysqld${port} failed "
clean_os_cache
purge_binlog "$port"
red_echo "sysbench $thread_num threads cleanup mysqld${port}"
sysbench_with_diff_thread "$thread_num" "$port" "cleanup" "$test_mode">/dev/null
red_echo "sysbench $thread_num threads prepare mysqld${port}"
sysbench_with_diff_thread "$thread_num" "$port" "prepare" "$test_mode">/dev/null
mkdir -p $sysbench_test_info_path
red_echo "sysbench $thread_num threads run mysqld${port} $test_mode"
sysbench_with_diff_thread "$thread_num" "$port" "run" "$test_mode" > $sysbench_test_info_path/${test_mode}_${thread_num}_$port
# service mysqld{port} stop
done
done
done
}
main