Ubuntu 17.04安裝redis4.01及主從復制部署實戰
Redis數據庫的三個主要特點:
1.Redis數據庫完全在內存中,使用磁盤僅用於持久性。
2.相比許多鍵值數據存儲,Redis擁有一套較為豐富的數據類型。
3.Redis可以將數據復制到任意數量的從服務器。
安裝前環境說明及準備工作
兩臺機器均為ubuntu 17.04版本
master:192.168.44.132
slave:192.168.44.133
安裝一些常用工具:apt-get install wget lrzsz vim
一:安裝redis
本例是用root用戶操作,master和salve安裝步驟一樣
wget http://download.redis.io/releases/redis-4.0.1.tar.gz
tar xzf redis-4.0.1.tar.gz -C /usr/local/
cd /usr/local/redis-4.0.1
make (出現下圖報錯)
解決辦法:apt-get install build-essential
make成功截圖如下:
執行make test報錯,嘗試切換src下,執行make test,提示需要安裝tcl 8.5,執行apt-get install tcl
make test成功截圖如下
slave端下面的配置文件暫且先不改
二:修改配置文件
/usr/local/redis-4.0.1/redis.conf
1.先備份配置文件,養成良好習慣。
cp /usr/local/redis-4.0.1/redis.conf /usr/local/redis-4.0.1/redis.conf.`date +%F_%T`
2..修改為守護進程的方式運行
Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
136行 daemonize no 修改為yes
設置Redis 密碼
這裏密碼設置為ubunturedis
500行# requirepass foobared
新增一行 requirepass ubunturedis
3.設置Redis 端口號
92行port 6379,可自定義修改
4.啟動redis
在/usr/local/redis-4.0.1/
src/redis-server或者指定配置文件src/redis-server redis.conf
5.在本機內置客戶端測試連接
src/redis-cli -a ubunturedis
三:主從復制
Redis的主從復制功能非常強大,一個master可以擁有多個slave,而一個slave又可以擁有多個slave
master的redis配置文件
69行 bind 127.0.0.1
bind 127.0.0.1 192.168.44.132 後面追加master的ip,謹記在69行,第一次在57行添加bind 127.0.0.1 192.168.44.132,導致slave端查看master狀態一直是down的狀態。
slave的redis配置文件如下
修改slave的redis配置文件
136行daemonize yes 修改為yes
69行bind 127.0.0.1 192.168.44.133 後面追加slave的ip
500行 # requoirepass foobared
新增requirepass ubunturedis
92行port 6379
281行# slaveof <masterip> <masterport>
新增slaveof 192.168.44.128 6379
288行# masterauth <master-password>
新增masterauth ubunturedis
配置完之後重新啟動slave的Redis服務,主從配置基本完成。
master端
root@master:/usr/local/redis-4.0.1# src/redis-cli -a ubunturedis
127.0.0.1:6379> info
# Server
redis_version:4.0.1
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:4fcd3a0765f21bda
redis_mode:standalone
os:Linux 4.10.0-19-generic x86_64
arch_bits:64
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:6.3.0
process_id:25303
run_id:fc44c0bdc614ec55bb987bc84e7deaf01e363259
tcp_port:6379
uptime_in_seconds:8
uptime_in_days:0
hz:10
lru_clock:3715506
executable:/usr/local/redis-4.0.1/src/redis-server
config_file:/usr/local/redis-4.0.1/redis.conf
# Clients
connected_clients:1
client_longest_output_list:0
client_biggest_input_buf:0
blocked_clients:0
# Memory
used_memory:1898032
used_memory_human:1.81M
used_memory_rss:4108288
used_memory_rss_human:3.92M
used_memory_peak:1898032
used_memory_peak_human:1.81M
used_memory_peak_perc:100.06%
used_memory_overhead:1880752
used_memory_startup:765688
used_memory_dataset:17280
used_memory_dataset_perc:1.53%
total_system_memory:490287104
total_system_memory_human:467.57M
used_memory_lua:37888
used_memory_lua_human:37.00K
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
mem_fragmentation_ratio:2.16
mem_allocator:jemalloc-4.0.3
active_defrag_running:0
lazyfree_pending_objects:0
# Persistence
loading:0
rdb_changes_since_last_save:0
rdb_bgsave_in_progress:0
rdb_last_save_time:1513664939
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:0
rdb_current_bgsave_time_sec:-1
rdb_last_cow_size:221184
aof_enabled:0
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok
aof_last_cow_size:0
# Stats
total_connections_received:2
total_commands_processed:12
instantaneous_ops_per_sec:1
total_net_input_bytes:402
total_net_output_bytes:10397
instantaneous_input_kbps:0.04
instantaneous_output_kbps:0.00
rejected_connections:0
sync_full:1
sync_partial_ok:0
sync_partial_err:1
expired_keys:0
evicted_keys:0
keyspace_hits:0
keyspace_misses:0
pubsub_channels:0
pubsub_patterns:0
latest_fork_usec:402
migrate_cached_sockets:0
slave_expires_tracked_keys:0
active_defrag_hits:0
active_defrag_misses:0
active_defrag_key_hits:0
active_defrag_key_misses:0
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.44.133,port=6379,state=online,offset=0,lag=1
master_replid:8e24b817b197b614ec4659b63c772f83d2532358
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:0
# CPU
used_cpu_sys:0.02
used_cpu_user:0.00
used_cpu_sys_children:0.00
used_cpu_user_children:0.00
# Cluster
cluster_enabled:0
# Keyspace
slave端
root@slave:/usr/local/redis-4.0.1# src/redis-cli -a ubunturedis
127.0.0.1:6379> info
# Server
redis_version:4.0.1
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:75af8696dc252396
redis_mode:standalone
os:Linux 4.10.0-19-generic x86_64
arch_bits:64
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:6.3.0
process_id:23912
run_id:cc948ad2a8ac96d3c896ed72a85b0da23fcf6f92
tcp_port:6379
uptime_in_seconds:608
uptime_in_days:0
hz:10
lru_clock:3715532
executable:/usr/local/redis-4.0.1/src/redis-server
config_file:/usr/local/redis-4.0.1/redis.conf
# Clients
connected_clients:2
client_longest_output_list:0
client_biggest_input_buf:0
blocked_clients:0
# Memory
used_memory:1898032
used_memory_human:1.81M
used_memory_rss:10391552
used_memory_rss_human:9.91M
used_memory_peak:1898032
used_memory_peak_human:1.81M
used_memory_peak_perc:100.06%
used_memory_overhead:1880768
used_memory_startup:765704
used_memory_dataset:17264
used_memory_dataset_perc:1.52%
total_system_memory:1018753024
total_system_memory_human:971.56M
used_memory_lua:37888
used_memory_lua_human:37.00K
maxmemory:0
maxmemory_human:0B
maxmemory_policy:noeviction
mem_fragmentation_ratio:5.47
mem_allocator:jemalloc-4.0.3
active_defrag_running:0
lazyfree_pending_objects:0
# Persistence
loading:0
rdb_changes_since_last_save:0
rdb_bgsave_in_progress:0
rdb_last_save_time:1513664364
rdb_last_bgsave_status:ok
rdb_last_bgsave_time_sec:-1
rdb_current_bgsave_time_sec:-1
rdb_last_cow_size:0
aof_enabled:0
aof_rewrite_in_progress:0
aof_rewrite_scheduled:0
aof_last_rewrite_time_sec:-1
aof_current_rewrite_time_sec:-1
aof_last_bgrewrite_status:ok
aof_last_write_status:ok
aof_last_cow_size:0
# Stats
total_connections_received:2
total_commands_processed:8
instantaneous_ops_per_sec:0
total_net_input_bytes:343
total_net_output_bytes:24383
instantaneous_input_kbps:0.00
instantaneous_output_kbps:0.04
rejected_connections:0
sync_full:0
sync_partial_ok:0
sync_partial_err:0
expired_keys:0
evicted_keys:0
keyspace_hits:0
keyspace_misses:0
pubsub_channels:0
pubsub_patterns:0
latest_fork_usec:0
migrate_cached_sockets:0
slave_expires_tracked_keys:0
active_defrag_hits:0
active_defrag_misses:0
active_defrag_key_hits:0
active_defrag_key_misses:0
# Replication
role:slave
master_host:192.168.44.132
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:42
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:8e24b817b197b614ec4659b63c772f83d2532358
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:42
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:1
repl_backlog_histlen:42
# CPU
used_cpu_sys:1.24
used_cpu_user:0.18
used_cpu_sys_children:0.00
used_cpu_user_children:0.00
# Cluster
cluster_enabled:0
# Keyspace
master端info信息關鍵信息如下圖
slave端info信息關鍵信息如下圖
四:驗證
1.在master執行set age 20,slave執行get age,看是否能得到20,如果能夠得到值則說明同步成功。
master端
slave端
2. 本機測試訪問
./src/redis-cli -h 127.0.0.1 -p 6379 -a ubunturedis
如果slave連接到了master則master_link_status
為
up
否則為down
。如果為down
請檢查master端是否設置了bind
主機的IP以及是否設置了密碼。因為slave遠程連接必須設置bind
,如果master端設置了密碼,則slave端必須設置masterauth
。
五:幫助文檔
1)redis.conf 配置文件說明如下:
1. Redis默認不是以守護進程的方式運行,可以通過該配置項修改,使用yes啟用守護進程
daemonize no
2. 當Redis以守護進程方式運行時,Redis默認會把pid寫入/var/run/redis_端口.pid文件,可以通過pidfile指定
pidfile /var/run/redis_端口.pid
3. 指定Redis監聽端口,默認端口為6379
port 6379
4. 綁定的主機地址
bind 127.0.0.1
5.當 客戶端閑置多長時間後關閉連接,如果指定為0,表示關閉該功能
timeout 300
6. 指定日誌記錄級別,Redis總共支持四個級別:debug、verbose、notice、warning,默認為notice
loglevel notice
7. 日誌記錄方式,默認為標準輸出,如果配置Redis為守護進程方式運行,而這裏又配置為日誌記錄方式為標準輸出,則日誌將會發送給/dev/null
logfile stdout
8. 設置數據庫的數量,默認數據庫為0,可以使用SELECT <dbid>命令在連接上指定數據庫id
databases 16
9. 指定在多長時間內,有多少次更新操作,就將數據同步到數據文件,可以多個條件配合
save <seconds> <changes>
Redis默認配置文件中提供了三個條件:
save 900 1
save 300 10
save 60 10000
分別表示900秒(15分鐘)內有1個更改,300秒(5分鐘)內有10個更改以及60秒內有10000個更改。
10. 指定存儲至本地數據庫時是否壓縮數據,默認為yes,Redis采用LZF壓縮,如果為了節省CPU時間,可以關閉該選項,但會導致數據庫文件變的巨大。
rdbcompression yes
11. 指定本地數據庫文件名,默認值為dump.rdb
dbfilename dump.rdb
12. 指定本地數據庫存放目錄
dir ./
13. 設置當本機為slave服務時,設置master服務的IP地址及端口,在Redis啟動時,它會自動從master進行數據同步
slaveof <masterip> <masterport>
14. 當master服務設置了密碼保護時,slav服務連接master的密碼
masterauth <master-password>
15. 設置Redis連接密碼,如果配置了連接密碼,客戶端在連接Redis時需要通過AUTH <password>命令提供密碼,默認關閉
requirepass foobared
16. 設置同一時間最大客戶端連接數,默認無限制,Redis可以同時打開的客戶端連接數為Redis進程可以打開的最大文件描述符數,如果設置 maxclients 0,表示不作限制。當客戶端連接數到達限制時,Redis會關閉新的連接並向客戶端返回max number of clients reached錯誤信息。
maxclients 128
17. 指定Redis最大內存限制,Redis在啟動時會把數據加載到內存中,達到最大內存後,Redis會先嘗試清除已到期或即將到期的Key,當此方法處理 後,仍然到達最大內存設置,將無法再進行寫入操作,但仍然可以進行讀取操作。Redis新的vm機制,會把Key存放內存,Value會存放在swap區。
maxmemory <bytes>
18. 指定是否在每次更新操作後進行日誌記錄,Redis在默認情況下是異步的把數據寫入磁盤,如果不開啟,可能會在斷電時導致一段時間內的數據丟失。因為 redis本身同步數據文件是按上面save條件來同步的,所以有的數據會在一段時間內只存在於內存中,默認為no。
appendonly no
19. 指定更新日誌文件名,默認為appendonly.aof
appendfilename appendonly.aof
20. 指定更新日誌條件,共有3個可選值: no:表示等操作系統進行數據緩存同步到磁盤(快) always:表示每次更新操作後手動調用fsync()將數據寫到磁盤(慢,安全) everysec:表示每秒同步一次(折衷,默認值)
appendfsync everysec
21. 指定是否啟用虛擬內存機制,默認值為no,簡單的介紹一下,VM機制將數據分頁存放,由Redis將訪問量較少的頁即冷數據swap到磁盤上,訪問多的頁面由磁盤自動換出到內存中。
vm-enabled no
22. 虛擬內存文件路徑,默認值為/tmp/redis.swap,不可多個Redis實例共享
vm-swap-file /tmp/redis.swap
23. 將所有大於vm-max-memory的數據存入虛擬內存,無論vm-max-memory設置多小,所有索引數據都是內存存儲的(Redis的索引數據 就是keys),也就是說,當vm-max-memory設置為0的時候,其實是所有value都存在於磁盤,默認值為0。
vm-max-memory 0
24. Redis swap文件分成了很多的page,一個對象可以保存在多個page上面,但一個page上不能被多個對象共享,vm-page-size是要根據存儲的 數據大小來設定的,建議如果存儲很多小對象,page大小最好設置為32或者64bytes;如果存儲很大大對象,則可以使用更大的page,如果不確定,就使用默認值。
vm-page-size 32
25. 設置swap文件中的page數量,由於頁表(一種表示頁面空閑或使用的bitmap)是在放在內存中的,在磁盤上每8個pages將消耗1byte的內存。
vm-pages 134217728
26. 設置訪問swap文件的線程數,最好不要超過機器的核數,如果設置為0,那麽所有對swap文件的操作都是串行的,可能會造成比較長時間的延遲,默認值為4。
vm-max-threads 4
27. 設置在向客戶端應答時,是否把較小的包合並為一個包發送,默認為開啟。
glueoutputbuf yes
28. 指定在超過一定的數量或者最大的元素超過某一臨界值時,采用一種特殊的哈希算法。
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希,默認為開啟。
activerehashing yes
30. 指定包含其它的配置文件,可以在同一主機上多個Redis實例之間使用同一份配置文件,而同時各個實例又擁有自己的特定配置文件。
include /path/to/local.conf
2)Redis 遠程連接
用法:redis-cli [OPTIONS] [cmd [arg [arg ...]]]
-h <主機ip>,默認是127.0.0.1
-p <端口>,默認是6379
-a <密碼>,如果redis加鎖,需要傳遞密碼
--help,顯示幫助信息
如果沒在69行bind 127.0.0.1 後添加192.168.44.132,則在slave端執行下面命令會報錯
redis-cli -h 192.168.44.132 -p 6379 -a ubunturedis
Ubuntu 17.04安裝redis4.01及主從復制部署實戰