python 基礎 10.0 nosql 簡介--redis 連接池及管道
阿新 • • 發佈:2017-11-27
urn usr edi 完成後 獲取 sql語句 基礎 似的 安裝redis 一. NOSQL 數據庫簡介
NoSQL 泛指非關系型的數據庫。非關系型數據庫與關系型數據庫的差別
非關系型數據庫的優勢:
1.性能NOSQL 是基於鍵值對的,可以想象成表中的主鍵和值的對應關系,而且不需要經過SQL 層的解析,所以性能非常高。
2.可擴展性同樣也是因為基於鍵值對,數據之間沒有耦合性,所以非常容易水平擴展。
關系型數據庫的優勢:
1. 復雜查詢可以用SQL語句方便的在一個表以及多個表之間做非常復雜的數據查詢。
2.事務支持使得對於安全性能很高的數據訪問要求得以實現。對於這兩類數據庫,對方的優勢就是自己的弱勢。反之亦然。但是近年來這兩種數據庫都在向著另外一個方向進化。例如:NOSQL 數據庫慢慢開始具備SQL 數據庫的一些復雜查詢功能的雛形,比如 Couchbase 的index 以及 MONGO 的復雜查詢。對於事務的支持也可以用一些系統級的原子操作來實現例如樂觀鎖之類的方法來曲線救國。SQL 數據庫也開始慢慢進化,比如 HandlerSocker 技術的實現,可以在MYSQL上實現對於SQL 層的穿透,用NOSQL 的方式訪問數據庫,性能可以上達到甚至超越NOSQL 數據庫。可擴展性上例如Percona Server ,可以實現無中心化的集群。雖然這兩級都因為各自的弱勢而開始進化出另一極的一些特征性,但是這些特性的增加也會消弱其本來具備的優勢,比如Couchbase上的index 的增加會逐步降低數據庫的讀寫性能。所以構建系統的短期和長期存儲策略,用好他們各自的強項是架構師需要好好考慮的重要問題。
二. python 操作 redis
redis 的概念:
redis 是一個key-value 存儲系統。和Memcached 類似,它支持存儲的value類型相對更多,包括string ,list,set(集合),zset(sorted set --有序集合)和hash(哈希類型)。這些數據類型都支持 push/pop add/remove 及取交際並集和差集更豐富的操作,而且這些操作都是原子性的。在此基礎上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數據都是緩存在內存中。區別的是redis 會周期性的把更新的數據寫入磁盤或者把修改操作寫入追加的記錄文件,並且在此基礎上實現了master-slave(主從)同步。
Redis 是一個高性能的key-value 數據庫。redis 的出現,很大程度補償了memcached 這類 key/value 存儲的不足,在部分場合可以對關系數據庫起到很好的補充作用。
Readis 支持主從同步。數據可以從主服務器向任意數量的從服務器上同步,從服務器可以是關聯其他從服務器的主服務器。這使得Redis 可執行單層樹復制。存盤可以有意無意的對數據進行寫操作。由於完全實現了發布/訂閱機制,使得從數據庫在任何地方同步樹時,可訂閱一個頻道並接收主服務器完整的消息發布記錄。同步對讀取操作的可擴展性和數據冗余很有幫助。
三. Redis 的搭建
見本博客地址: http://www.cnblogs.com/lzcys8868/p/7532873.html
或如下進行簡易安裝redis
#cd /usr/local/src
#wget http://download.redis.io/releases/redis-3.0.1.tar.gz
#tar xzf redis-3.0.1.tar.gz
#cd redis-3.0.1
#make
#更改redis.conf 把 daemonize no 更改為 daemonize yes 。可以後臺啟動
#src/redis-server & 或 src/redis-server + redis.conf 配置文件路徑
檢查redis是否正常啟動
Ps –ef |grep redis
Netstat –lnp |grep 6379
四 linux 上 redis 客戶端安裝
pip install redis
五. redis 的簡單操作
#/usr/bin/python
#-*- coding:utf-8 -*-
#@Time :2017/11/26 21:06
#@Auther :liuzhenchuan
#@File :redis 安裝.py
#pycharm 安裝redis 只需導入redis模塊
import redis
##一. redis 簡單操作
#方法一,連接redis。及插入數據
redis_config = {
‘host‘:‘192.168.16.70‘,
‘port‘:6379
}
r = redis.Redis(**redis_config)
#set 操作 第一個參數就是key 第二個參數就是value
r.set(‘liu‘,‘you are very good‘)
# r.keys 就是獲取到所有的keys
print (r.keys())
# r.get 就是獲取到key的值
print r.get(‘liu‘)
# 連接redis ,方法二
r = redis.Redis(host=‘192.168.16.70‘,port=6379)
##二. redis 連接池
print ‘##‘*5 + ‘redis 連接池‘ + ‘##‘*5
def get_redis_connect():
redis_config = {
‘host‘: ‘192.168.16.70‘,
‘port‘: 6379
}
pool = redis.ConnectionPool(**redis_config)
r = redis.Redis(connection_pool=pool)
return r
if __name__ == ‘__main__‘:
r = get_redis_connect()
r.set(‘name‘,‘lzc‘)
r.set(‘age‘,‘18‘)
print r.get(‘name‘)
print r.get(‘age‘)
print r.keys()
>>>
##########redis 連接池##########
lzc
18
[‘name‘, ‘liu‘, ‘age‘]
六. redis 的管道
##可以一次執行多次redis 命令
管道:
redis-py 默認在執行每次請求都會創建(連接池申請連接)和斷開(歸還連接池)一次連接操作,如果想要在一次請求中指定多個命令,則可以使用pipline 實現一次請求指定多個命令,並且默認情況下一次pipline 是原子性操作。減少功耗redis是一個cs模式的tcp server,使用和http類似的請求響應協議。一個client可以通過一個socket連接發起多個請求命令。每個請求命令發出後client通常會阻塞
並等待redis 服務處理,redis 處理完成後請求命令後會將結果通過相應報文返回給client。
七. 應用管道與不應用管道的時間差為10倍
#/usr/bin/python
#-*- coding:utf-8 -*-
#@Time :2017/11/26 23:39
#@Auther :liuzhenchuan
#@File :redis 管道.py
import datetime
import redis
def withpipe(r):
pipe = r.pipeline(transaction=True)
for i in xrange(1, 1000):
key = "test1" + str(i)
value = "test1" + str(i)
pipe.set(key, value)
pipe.execute()
def withoutpipe(r):
# pipe = r.pipeline(transaction=True)
for i in xrange(1, 1000):
key = "test1" + str(i)
value = "test1" + str(i)
r.set(key, value)
if __name__ == "__main__":
pool = redis.ConnectionPool(host="192.168.16.70", port=6379, db=0)
r1 = redis.Redis(connection_pool=pool)
r2 = redis.Redis(connection_pool=pool)
start = datetime.datetime.now()
print(start)
withpipe(r1)
end = datetime.datetime.now()
# print((end-start).microseconds)
print(end-start)
t_time = (end - start).microseconds
print("withpipe time is : {0}".format(t_time))
start = datetime.datetime.now()
withoutpipe(r2)
end = datetime.datetime.now()
t_time = (end - start).microseconds
print("withoutpipe time is : {0}".format(t_time))
>>>
2017-11-26 23:49:58.260000
0:00:00.063000
withpipe time is : 63000
withoutpipe time is : 489000
python 基礎 10.0 nosql 簡介--redis 連接池及管道