Python系統學習-26-1
今日內容概要：
1. redis
2. websocket
3. 完善釋出系統
4. celery
內容詳細：
1. redis
a. 安裝【虛擬機器、伺服器上】
wget http://download.redis.io/releases/redis-3.0.6.tar.gz
tar xzf redis-3.0.6.tar.gz
cd redis-3.0.6
make
b. 安裝python操作redis的模組【自己電腦】 pip3 install redis c. 通過Python去呼叫redis 1. 基本使用： import redis """ redis = { k1:v1, # 字串, k2:[11,22,333,22], # 列表, k3:{11,22,333}, # 集合, k4:{'name':'alex','age':18}, # 字典, k5:{('alex',80),('老男孩',90),('xxx',81)} # 有序集合 } """ conn = redis.Redis(host='192.168.16.27',port=6379) ############################# 字串操作 ############################# conn.set('k2',666,ex=5) val = conn.get('k2') ############################# 列表操作 ############################# conn.lpush('names','eric') # 在左邊插 conn.rpush('names','seven') v1 = conn.lpop('names') # 從左邊取 v1 = conn.rpop('names') print(v1) 利用redis列表可以做佇列 conn.rpush('names','eric') v1 = conn.lpop('names') print(v1) 利用redis列表可以做佇列【阻塞】 v1 = conn.blpop('names') print(v1) print(conn.lrange('names',0,1000)) ############################# 字典操作 ############################# conn.hset('k4','name','alex') conn.hset('k4','age','18') v1 = conn.hget('k4','name') v2 = conn.hget('k4','age') print(v1,v2) 生成器物件(redis中有大量資料操作時，使用hscan_iter) ret = conn.hscan_iter('k4',count=500) for item in ret: print(item) ############################# 集合操作 ############################# conn.sadd('urls','http://www.sogou.com') v1 = conn.smembers('urls') print(v1) ############################# 有序集合操作 ############################# conn.zadd('zz', {'alex': 80, 'oldboy':20}) v = conn.zrange('zz',0,1000,desc=True) print(v) 參考部落格：http://www.cnblogs.com/wupeiqi/articles/5132791.html 2. 應用場景 字串，session資料儲存到redis字串中。 django示例：【django_session_redis】 注意，需要先安裝 pip3 install django_redis 列表，訊息佇列。應用場景：爬蟲的任務【今日用到】 集合，記錄去重。應用場景：爬蟲 字典，購物車資訊。 有序集合，應用場景：爬蟲任務深度和廣度優先。【今日用到】 1.1redis相比memcached有哪些優勢？ (1) memcached所有的值均是簡單的字串，redis作為其替代者，支援更為豐富的資料型別 (2) redis的速度比memcached快很多 (3) redis可以持久化其資料 1.2redis常見效能問題和解決方案： (1) Master最好不要做任何持久化工作，如RDB記憶體快照和AOF日誌檔案 (2) 如果資料比較重要，某個Slave開啟AOF備份資料，策略設定為每秒同步一次 (3) 為了主從複製的速度和連線的穩定性，Master和Slave最好在同一個區域網內 (4) 儘量避免在壓力很大的主庫上增加從庫 (5) 主從複製不要用圖狀結構，用單向連結串列結構更為穩定，即：Master <- Slave1 <- Slave2 <- Slave3... 這樣的結構方便解決單點故障問題，實現Slave對Master的替換。如果Master掛了，可以立刻啟用Slave1做Master，其他不變。 1.3MySQL裡有2000w資料，redis中只存20w的資料，如何保證redis中的資料都是熱點資料 (1)相關知識：redis 記憶體資料集大小上升到一定大小的時候，就會施行資料淘汰策略。redis 提供 6種資料淘汰策略： (2)voltile-lru：從已設定過期時間的資料集（server.db[i].expires）中挑選最近最少使用的資料淘汰 (3)volatile-ttl：從已設定過期時間的資料集（server.db[i].expires）中挑選將要過期的資料淘汰 (4)volatile-random：從已設定過期時間的資料集（server.db[i].expires）中任意選擇資料淘汰 (5)allkeys-lru：從資料集（server.db[i].dict）中挑選最近最少使用的資料淘汰 (6)allkeys-random：從資料集（server.db[i].dict）中任意選擇資料淘汰 (7)no-enviction（驅逐）：禁止驅逐資料
1.4. Memcache與Redis的區別都有哪些？
1)、儲存方式
Memecache把資料全部存在記憶體之中，斷電後會掛掉，資料不能超過記憶體大小。
Redis有部份存在硬碟上，這樣能保證資料的永續性。
2)、資料支援型別
Memcache對資料型別支援相對簡單。
Redis有複雜的資料型別。
3）value大小
redis最大可以達到1GB，而memcache只有1MB
1.5 Redis 常見的效能問題都有哪些？如何解決？
1).Master寫記憶體快照，save命令排程rdbSave函式，會阻塞主執行緒的工作，當快照比較大時對效能影響是非常大的，會間斷性暫停服務，所以Master最好不要寫記憶體快照。
2).Master AOF持久化，如果不重寫AOF檔案，這個持久化方式對效能的影響是最小的，但是AOF檔案會不斷增大，AOF檔案過大會影響Master重啟的恢復速度。Master最好不要做任何持久化工作，包括記憶體快照和AOF日誌檔案，特別是不要啟用記憶體快照做持久化,如果資料比較關鍵，某個Slave開啟AOF備份資料，策略為每秒同步一次。
3).Master呼叫BGREWRITEAOF重寫AOF檔案，AOF在重寫的時候會佔大量的CPU和記憶體資源，導致服務load過高，出現短暫服務暫停現象。
4). Redis主從複製的效能問題，為了主從複製的速度和連線的穩定性，Slave和Master最好在同一個區域網內
1.6edis 最適合的場景
Redis最適合所有資料in-momory的場景，雖然Redis也提供持久化功能，但實際更多的是一個disk-backed的功能，跟傳統意義上的持久化有比較大的差別，那麼可能大家就會有疑問，似乎Redis更像一個加強版的Memcached，那麼何時使用Memcached,何時使用Redis呢?
如果簡單地比較Redis與Memcached的區別，大多數都會得到以下觀點：
1 、Redis不僅僅支援簡單的k/v型別的資料，同時還提供list，set，zset，hash等資料結構的儲存。
2 、Redis支援資料的備份，即master-slave模式的資料備份。
3 、Redis支援資料的持久化，可以將記憶體中的資料保持在磁碟中，重啟的時候可以再次載入進行使用。
（1）、會話快取（Session Cache）
最常用的一種使用Redis的情景是會話快取（session cache）。用Redis快取會話比其他儲存（如Memcached）的優勢在於：Redis提供持久化。當維護一個不是嚴格要求一致性的快取時，如果使用者的購物車資訊全部丟失，大部分人都會不高興的，現在，他們還會這樣嗎？
幸運的是，隨著 Redis 這些年的改進，很容易找到怎麼恰當的使用Redis來快取會話的文件。甚至廣為人知的商業平臺Magento也提供Redis的外掛。
（2）、全頁快取（FPC）
除基本的會話token之外，Redis還提供很簡便的FPC平臺。回到一致性問題，即使重啟了Redis例項，因為有磁碟的持久化，使用者也不會看到頁面載入速度的下降，這是一個極大改進，類似PHP本地FPC。
再次以Magento為例，Magento提供一個外掛來使用Redis作為全頁快取後端。
此外，對WordPress的使用者來說，Pantheon有一個非常好的外掛 wp-redis，這個外掛能幫助你以最快速度載入你曾瀏覽過的頁面。
（3）、佇列
Reids在記憶體儲存引擎領域的一大優點是提供 list 和 set 操作，這使得Redis能作為一個很好的訊息佇列平臺來使用。Redis作為佇列使用的操作，就類似於本地程式語言（如Python）對 list 的 push/pop 操作。
如果你快速的在Google中搜索“Redis queues”，你馬上就能找到大量的開源專案，這些專案的目的就是利用Redis建立非常好的後端工具，以滿足各種佇列需求。例如，Celery有一個後臺就是使用Redis作為broker，你可以從這裡去檢視。
（4），排行榜/計數器
Redis在記憶體中對數字進行遞增或遞減的操作實現的非常好。集合（Set）和有序集合（Sorted Set）也使得我們在執行這些操作的時候變的非常簡單，Redis只是正好提供了這兩種資料結構。所以，我們要從排序集合中獲取到排名最靠前的10個使用者–我們稱之為“user_scores”，我們只需要像下面一樣執行即可：
當然，這是假定你是根據你使用者的分數做遞增的排序。如果你想返回使用者及使用者的分數，你需要這樣執行：
ZRANGE user_scores 0 10 WITHSCORES
Agora Games就是一個很好的例子，用Ruby實現的，它的排行榜就是使用Redis來儲存資料的，你可以在這裡看到。
（5）、釋出/訂閱
最後（但肯定不是最不重要的）是Redis的釋出/訂閱功能。釋出/訂閱的使用場景確實非常多。我已看見人們在社交網路連線中使用，還可作為基於釋出/訂閱的指令碼觸發器，甚至用Redis的釋出/訂閱功能來建立聊天系統！（不，這是真的，你可以去核實）。
Redis提供的所有特性中，我感覺這個是喜歡的人最少的一個，雖然它為使用者提供如果此多功能。
1.7連線池
redis-py使用connection pool來管理對一個redis server的所有連線，避免每次建立、釋放連線的開銷。預設，每個Redis例項都會維護一個自己的連線池。可以直接建立一個連線池，然後作為引數Redis，這樣就可以實現多個Redis例項共享一個連線池。
import redis
pool = redis.ConnectionPool(host='127.0.0.1', port=6397)
r = redis.Redis(connection_pool=pool)
r.set('foo', 'bar')
print(r.get('foo))
-
websocket
Http協議： - 資料格式： - \r\n分割 - 請求頭和請求體 - 一次請求一次響應斷開連線。 - http服務端只能做響應，無法主動給客戶端推送訊息。 websocket協議： - 建立連線後預設不斷開 - 資料格式： - 握手 - 加密/解密 - \r\n django中使用websocket： 1. 檢視Python版本 2. 根據版本不同下載：twisted https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 3. 安裝twisted 找到檔案的下載目錄，執行： pip3 install Twisted‑18.9.0‑cp36‑cp36m‑win_amd64.whl 4. 安裝： channel pip3 install channels 示例：基本聊天室功能（服務端向客戶端主動推送訊息） 5. 安裝： channels_redis pip3 install channels_redis-
釋出系統
-
celery
-
安裝
pip3 install celery -
什麼是celery？
celery是Python的一個模組，專門用於做任務處理。 -
快速使用【指令碼】
-
django示例【django框架*】
配置檔案：
-
-
# ######################## Celery配置 ########################
CELERY_BROKER_URL = 'redis://192.168.16.27:6379'
CELERY_ACCEPT_CONTENT = ['json']
CELERY_RESULT_BACKEND = 'redis://192.168.16.27:6379'
CELERY_TASK_SERIALIZER = 'json'
執行釋出系統：
- redis
- 至少建立一個程序來執行worker
- 啟動django