2. 程式人生 > >redis性能測試

redis性能測試

阿新 • • 發佈：2017-07-18
code get simple 秒級 sts hub 個人 手動 log

　　一 測試目的　　

　　開發需要為了尋求系統最優的解決方案,但是網上關於性能方面的資料並不是很多,沒有很明顯的數據說明,只是一般的結論性判斷不好說什麽,所以這裏自己重新測試整理了一番.

　　二 測試環境

　　主機主機ip為...86,系統為64位win7,4g內存,雙核2.93GHz,2.94GHz,從機ip為...59,系統為64位win7,6g內存,雙核2.93GHz,2.94GHz.

　　雙機在同一個局域網,開啟了密碼驗證,主從配置通過配置文件直接配置後,從機配置為不可寫入.

　　開發工具為Eclipse Indigo Service Release 1,java環境為32位java1.6 .Redis為Redis-x64-3.0.504版本,redis架包為jedis-2.9.0.jar.

　　三 開始測試

　　3.1 一般測試

　　3.1.1 測試方法:

　　直接手動操作,針對redis進行各種狀況的模擬.主要涉及到的工具有redis,management tool for redis.cmd窗口.

　　3.1.2 測試過程:

　　主從均關閉,開啟主redis導入少量數據到主redis,開啟從redis,從redis有一樣的數據.
　　主從均關閉,開啟從redis,刪除少量數據到從redis(management tool for redis),開啟主redis,主redis數據不變化,刷新從,從redis恢復原來的數據.
　　主從均開啟,操作部分數據到主redis,從redis有同樣的數據,

　　主從均開啟,刪除部分數據(management tool for redis)到從redis,主redis原有數據不會變動,再次刷新從redis發現更改未生效,cmd操作從機發現無法進行寫入,
　　主從均開啟,主導入部分數據之後從有同樣數據,關閉主之後再次開啟,主的數據恢復.
　　主從均開啟,主導入部分數據之後從有同樣數據,關閉從之後再次開啟,從的數據恢復.
　　主從均開啟,主導入部分數據之後從有同樣數據,關閉主之後,刪除本地文件dump.rdb,然後主再次開啟,主的數據沒有,從的數據直接同步為主的沒有數據狀態,cmd操作從機發現無法進行寫入.
　　主從均開啟,主導入部分數據之後從有同樣數據,關閉從之後,刪除本地文件dump.rdb,再次開啟從,從的數據恢復.

　　3.1.3 測試結論:

　　主機開啟之後,首先從dump文件恢復數據,之後會不定期同步數據到磁盤的dump.rbd文件,關閉之後再起開啟會再次直接從dump恢復數據,如果沒有這個文件會造成數據清空的狀況.

　　從開啟之後,會從dump文件回復數據,之後查找網絡的主機,找到之後進行一個備份編碼的對比,如果相同就進行局部同步,不同就進行全同步--即發送全同步請求之後,直接獲取到從機的dump文件,之後直接清空從機的數據之後從文件恢復.

　　3.2代碼測試

　　3.2.1 寫入數據測試

　　3.2.1.1 操作方法

　　通過寫程序對數據的作進行寫入操作並進行分析.

　　3.2.1.2 操作代碼

　　直接通過jedis代碼一個個寫入數據:

private static void EngineDataCreat() {
        Jedis jedis = new Jedis(rip, rport);
        jedis.auth(rpassword);
        System.out.println("Server is running: " + jedis.ping()
                + " Start to write!");
        jedis.flushAll();
        MyTimeUtil mt = new MyTimeUtil();

        for (int j = 0; j < 1; j++) { //寫入的次數,多次以求取平均值
            mt.start();
            for (int i = 0; i < 1000; i++) {
                for (PlanProprity e : PlanProprity.values()) {
                    jedis.set("China_beijing_plane:" + i + ":" + e,
                            " " + mt.getTime());
                }
            }
            for (int i = 0; i < 1000; i++) {
                for (CarProprity e : CarProprity.values()) {
                    jedis.set("China_hubei_car:" + i + ":" + e,
                            " " + mt.getTime());
                }
            }
　　　　　　　mt.endAndDisp();

        }
        System.out.println("Server is running: " + jedis.ping()
                + "Write finished!");
    }

　　直接通過jedis管道進行數據的批量寫入:

private static void EngineDataCreatByPipe() {
        Jedis jedis = new Jedis(rip, rport);
        jedis.auth(rpassword);
        System.out.println("Server is running: " + jedis.ping()
                + " Start to write!");
        jedis.flushAll();
        MyTimeUtil mt = new MyTimeUtil();
        
        for (int j = 0; j < 1; j++) {
            mt.start();
            Pipeline pipeline = jedis.pipelined();
            
            for (int i = 0; i < 1000; i++) {
                for (PlanProprity e : PlanProprity.values()) {
                    pipeline.set("China_beijing_plane:" + i + ":" + e,
                            " " + mt.getTime());
                }
            }
            for (int i = 0; i < 1000; i++) {
                for (CarProprity e : CarProprity.values()) {
                    pipeline.set("China_hubei_car:" + i + ":" + e,
                            " " + mt.getTime());
                }
            }
            pipeline.syncAndReturnAll();
            mt.endAndDisp();
            
        }
        System.out.println("Server is running: " + jedis.ping()
                + "Write finished!");
    }

　　上面的那個計時的類是自己寫的一個工具,可以參考下:

　　 http://www.cnblogs.com/wangkun1993/p/7199146.html 自寫時間小工具類

　　rip就是主機和從機的ip號,rport是端口好,rpassword是驗證的密碼.

　　遍歷的兩個是兩個大小為十的枚舉類型:

　　

　　enum PlanProprity {
        PSpeed, PPrice, PLength, PHeight, PWidth, PCapacity, PMore1, PMore2, PMore3, PMore4
    };

    enum CarProprity {
        CSpeed, CPrice, CMOre1, CMOre2, CMOre3, CMOre4, CMOre5, CMOre6, CMOre7, CMOre
    }

　　3.2.1.3 操作結果

　　主單個寫入10000條數據耗時: 24454ms 28491ms 45811ms 38017ms 22528ms 17845ms 18502ms 18079ms

　　主通過管道一次寫入10000數據耗時: 388ms 503ms 1288ms 922ms 419ms 341ms 342ms 325ms
　　寫入20w數據4356ms
　　寫入200w數據34121ms
　　從機無法寫入數據.
　　從更改為主後測試遠程寫入數據:
　　從單個寫入10000條數據耗時 6528ms 26953ms 32541ms 24982ms 22493ms 29789ms 31062ms
　　從通過管道一次寫入10000數據耗時 227ms 753ms 599ms 387ms 508ms 531ms 507ms

　　3.2.1.4 結果分析

　　通過對比發現數據的寫入速度通過管道實現效率得到了極大的提升,電腦的處理速度和網絡的連通率對於遠程操作的影響還是比較大的.

　　3.2.2 讀取數據測試

　　3.2.2.1 操作方法

　　通過代碼對redis進行數據的獲取操作.

　　3.2.2.2 操作代碼

　　直接通過get函數單個獲取數據操作:

private static void getDate() {
        Jedis jedis = new Jedis(rip, rport);
        jedis.auth(rpassword);
        System.out.println("Server is running: " + jedis.ping());
        // jedis.flushAll();
        MyTimeUtil mt = new MyTimeUtil();

        String strSaveDir = "d:\\edata\\";
        String fileName = "BAIHEYUAN_HW_"
                + new SimpleDateFormat("yyyyMMdd_HHmmss").format(new Date())
                + ".DJ";
        // String fileName="BAIHEYUAN_HW_20161122_0030.DJ";
        MyFileUtil mf = new MyFileUtil();
        String fileContent = null, tcont = null;
        String dateType = "China_beijing_plane";
        System.out.println("Start to get data");
        for (int j = 0; j < 1; j++) {
            fileContent = null;

            mt.start();
            for (int i = 0; i < 1000; i++) {
                for (PlanProprity e : PlanProprity.values()) {
                    tcont = jedis.get(dateType + ":" + i + ":" + e);
                    // fileContent += dateType+":" + i + ":\t" + e + tcont
                    // + "\r\n";
                }
            }
            mt.end();
            mt.disp();
            // if(mf.existsDictionary(strSaveDir + fileName)){
            // mf.createFile(strSaveDir + fileName, fileContent);
            // }

        }
        System.out.println("Get data end!");

        System.out.println("Server is running: " + jedis.ping());
    }

　　通過管道進行批量操作:

private static void getDateByPipe() {
        Jedis jedis = new Jedis(rip, rport);
        jedis.auth(rpassword);
        System.out.println("Server is running: " + jedis.ping());
        // jedis.flushAll();
        MyTimeUtil mt = new MyTimeUtil();

        String strSaveDir = "d:\\edata\\";
        String fileName = "BAIHEYUAN_HW_"
                + new SimpleDateFormat("yyyyMMdd_HHmmss").format(new Date())
                + ".DJ";
        // String fileName="BAIHEYUAN_HW_20161122_0030.DJ";
        MyFileUtil mf = new MyFileUtil();
        String fileContent = null;
        Response<String> tcont = null;
        String dateType = "China_beijing_plane";
        System.out.println("Start to get data");
        for (int j = 0; j < 1; j++) {
            fileContent = null;

            mt.start();
            Pipeline pipeline = jedis.pipelined();

            for (int i = 0; i < 100; i++) {
                for (PlanProprity e : PlanProprity.values()) {
                    tcont = pipeline.get("China_beijing_plane:" + i + ":" + e);

                    fileContent += dateType + ":" + i + ":\t" + e + tcont
                            + "\r\n";
                }
            }
            pipeline.syncAndReturnAll();

            mt.end();
            mt.disp();

            if (mf.existsDictionary(strSaveDir + fileName)) {
                mf.createFile(strSaveDir + fileName, fileContent);
            }
        }
        System.out.println("Get data end!");
        System.out.println("Server is running: " + jedis.ping());
    }

　　上面的代碼中除了獲取數據之外,另外還有一個導出數據到字符串和一個導出到文本的操作,後面發現這兩個操作大大影響了時間效率,因此作為對比,進行了註釋之後的二次測試.

　　如果對於文件類比較感興趣可以參考下我寫的一個工具類: http://www.cnblogs.com/wangkun1993/p/7199326.html 自寫文件小工具類

　　3.2.2.3 操作結果

　　主獲取數據測試:
　　單個獲取10000條數據時間:64704ms
　　　　去掉寫數據操作 19356ms 20747ms 17678ms 20170ms
　　單個獲取1000條數據時間:3202ms 2432ms 1791ms 2857ms 2218ms 2107ms
　　　　去掉寫數據操作 1255ms 1267ms 1570ms 1408ms 1137ms
　　單個獲取100條數據時間:186ms
　　　　去掉寫數據操作 169ms 180ms 236ms 218ms
　　批量獲取10000條數據時間:31367ms 31749ms 23582ms
　　　　去掉寫數據操作 367ms 308ms 375ms
　　批量獲取1000條數據時間:171ms 215ms 208ms 226ms 248ms 199ms 185ms 177ms
　　　　去掉寫數據操作 86ms 62ms 45ms


　　從獲取數據測試:
　　單個獲取1000條數據時間:1675ms 826ms 691ms 667ms 1112ms 1930ms 614ms
　　　　去掉寫數據操作 955ms 818ms 959ms 1007ms 1187ms 338ms 494ms
　　單個獲取100條數據時間:66ms 44ms 46ms
　　　　去掉寫數據操作 121ms 137ms 101ms
　　批量個獲取10000條數據時間:29965ms 30986ms 22533ms
　　　　去掉寫數據操作 363ms 323ms 360ms
　　批量獲取1000條數據時間:174ms 145ms 135ms
　　　　去掉寫數據操作 55ms 27ms 12ms

　　3.2.2.4 結果分析

　　從上面的數據可以看到,通過管道獲取數據想效率比一般獲取數據要高的多,因此數據量比較多的時候顯然管道操作是比較合適的,如果只是幾個數據的操作,一般兩種方式都行了.

　　對於操作的時候如果進行一些文件的導出操作,可以看到完成的時間是大大增加了,因此如果需要在獲取數據之後進行一些其他的操作,最好認真斟酌一下,可以在數據獲取完畢之後直接從內存中讀取數據,進行一系列的操作.　　

　　3.2.3 恢復數據測試

　　　3.2.3.1 操作方法

　　通過代碼,針對操作之後恢復數據的時間進行一個判斷,

　　3.2.3.2 操作代碼

private static void testRecovery() {
        Jedis jedis = new Jedis(rip, rport);

        long t = 0;
        boolean tag=true;
        for (int i = 0; i < 1;) {
            try {
                

                String ttt = null;

                if ("OK" .equals(jedis.auth(rpassword))&&tag==true) {
                    t = System.currentTimeMillis();
                    System.out.println(System.currentTimeMillis() - t+" OK");//break;
                    tag=false;
                }
                if ("PONG".equals(jedis.ping())) {
                    System.out.println(System.currentTimeMillis() - t+" PONG");//break;
                }
                if (jedis.dbSize() >= 20000) {
                    System.out.println((System.currentTimeMillis() - t)+" all data");
                    break;
                }
            } catch (Exception e) {
                // TODO: handle exception
                System.out.println("test");
            }

        }
        System.out.println(System.currentTimeMillis() - t+" all out");
    }

　　代碼沒有什麽特殊的地方,直接運行就行了,運行之後才打開redis進行恢復操作,從文件恢復的時間太短,不好統計,直接取的它自己顯示的數字,主要測試的是遠程服務器傳輸數據需要話費的時間.

　　3.2.3.3 操作結果

　　主恢復數據測試(2w數據880kb)
　　　　直接dump文件恢復(s) 0.044 0.049 0.047
　　　　測試20w(2.89m)恢復時間) 0.15s
　　　　刪除主機備份文件無法恢復.
　　從恢復數據測試(2w數據880kb)
　　　　直接dump文件恢復(s) 0.40 0.039 0.040 0.039
　　　　刪除從機備份文件之後網絡獲取文件回復
　　　　2w數據3.35s 3.40s

　　3.2.3.4 結果分析

　　從結果來看,影響恢復速度的因素主要是網絡的問題,從文件恢復幾乎可以在秒級完成,可以忽略不計,當然需要看情況啦,至少我邊項目不需要考慮從文件恢復的時間.恢復的速度還是比較滿意的,測試數據時候的因為是內部網絡,所以這個值不好做評判參考類.

　　目前測試就這些,後續可能繼續進行其他測試,會繼續修改這個博客.

　　個人原創,轉載請註明出處.

　　歡迎指出不足之處以作改進.

　　

redis性能測試

相關推薦

redis性能測試

code get simple 秒級 sts hub 個人 手動 log 　　一 測試目的　　 　　開發需要為了尋求系統最優的解決方案,但是網上關於性能方面的資料並不是很多,沒有很明顯的數據說明,只是一般的結論性判斷不好說什麽,所以這裏自己重新測試整理了一番. 　　二

redis性能測試工具的使用

ads 並發 upload first 測試 sock 讀寫 字節 http 在redis安裝完成後會生成一個bin的目錄，在這個目錄中有一個 redis-benchmark 的文件腳本工具，通過執行這個工具進行redis的性能測試。 bash #執行這個腳本後腳

Redis 性能測試

可選參數 padding 1.2 white gin rep adding 執行 requests Redis 性能測試 Redis 性能測試是通過同時執行多個命令實現的。 語法 redis 性能測試的基本命令如下： redis-benchmark [option] [op

Redis和Memcache性能測試對比

數據 redis 3.3 replace class 內存 知識 獲取數據 lac Redis和Memcache在寫入性能上面差別不大，讀取性能上面尤其是批量讀取性能上面Memcache全面勝出，當然Redis也有自己的優點：比如數據持久化、支持更多的數據結構（Set Li

性能測試二十五：redis-cli 命令總結

ltr mon 參數 pat 中一 zhang nio 持久化 如果 常用命令dbsize：查看redis中的kv數量 keys *：查看redis中所有的keyset key_1 v_1：新增一個key_1，包含v_1get key_1：查看key_1中的內容del

性能測試二十四：環境部署之Redis多實例部署

從庫 關系 com .com 兩個 指定 使用 插入 onf 由於redis服務端是單線程實現的，因此只能占用CPU的單核，為了充分利用CPU資源，可以在一臺服務器上同時啟動多個redis-server實例 首先刪除之前的rdb、aof文件 註釋掉3個save

性能測試二十六：環境部署之Mysql+Redis+Tomcat環境整合

web-inf 技術 提高 tar 從數據 之前 sse 取數 最小 系統中使用了緩存+數據庫，通用讀取數據規則1、先從緩存讀數據，如果有，直接返回數據；2、如果沒有，去數據庫中讀，然後再插入到緩存中，再返回數據 Mysql+Redis+Tomcat環境整合 1、修改Per

app性能測試【通過loadrunner錄制】

端口 dash rip 路徑 tar des use 壓測 solution 隨著智能手機近年來的快速增長，從遊戲娛樂到移動辦公的各式各樣的手機APP軟件滲透到我們的生活中，對於大型的手機APP測試不僅要關註它的功能性、易用性還要關註它的性能，最近發現LoadRunner1

性能測試分層模型-選自書籍：小強軟件測試瘋狂講義

解決 腳本 速度 詳細講解 lock 狀態 http block php代碼 百度搜索：小強測試品牌 新書推薦 本書終於在前段時間出版了，現在已經可以在各大網店購買了，搜索書名即可。書籍購買地址：https://detail.tmall.com/item.htm?id=

性能測試（四）應用領域

架構 關心 剖析 測試結果 可擴展 服務 style 快速 折線圖 大概說說性能測試的五種應用領域吧，可能純文字內容太多，沒耐心的話，可以跳過不看。。。 ————參考書籍《軟件性能測試過程詳解與案例剖析》 概括來說，可以將性能測試的應用領域劃分為下面五個不同領域：

性能測試工具

文件 -h config job medium 帶寬 大小 打開 iptable 2015.8.7 橫向擴展能力 數據庫的優化 盡量讓一臺機器能夠承載更多的用戶請求 性能測試就是通過技術的手段模擬大量用戶同時訪問被測應用，觀察記錄和分析系統的各項性能指標的過程。 性能測

後臺性能測試不可不知的二三事

報告 空間 bold 返回 定義 需求 加鎖 交互 posit 某月黑風高之夜，某打車平臺上線了一大波（G+）優惠活動，眾人紛紛下單。於是乎，該打車平臺使用的智能提示服務扛不住直接趴窩了（如下圖）。事後，負責智能提示服務開發和運維的有關部門開會後決定：必須對智能提示服務進行

使用Jmeter進行http接口做功能、性能測試

時延 ive clas stat 時長 菜單 sample ati ron 在測試移動APP時，會有很多接口需要做測試，我在這裏介紹一下對HTTP接口做功能、性能的測試。首先我們會從開發人員拿到接口數據。 一、測試需求描述 1、 本次測試的接口為h

性能測試JMeter趟的坑之JMeter的bug:TPS周期性波動問題

劫持 sdn apach ast apache clas mark 應該 太多的 先說下問題： 我在做性能測試時，使用JMeter搞了100個並發，以100TPS的壓力壓測十分鐘，但壓力一直出現波動。並且出現波動時JMeter十分卡，例如以下圖： 周期性TPS波動

SylixOS網絡性能測試

windows1.應用場景在進行一些研究和開發時經常需要對網絡性能進行測試，iperf是一款非常出色的網絡性能測試工具，它擁有多個參數，可以測量TCP和UDP的帶寬，延時抖動以及丟包率。SylixOS支持iperf，可以通過iperf進行網絡性能測試。2.測試方法2.1 Windows版本iperf安裝win

linux 性能測試與調優

inux 2.3 color 0.10 ilo x86 average 0.00 定位 CPU　　性能評估 通過下面命令能了解到cpu是否出現性能瓶頸，再結合top、ps等命令進一步檢查，就可以定位到哪些進程導致cpu負載過大。 vmstat查看cpu負載 [[email

性能測試從0到1的過程（二）

sleep efi python腳本 size sel 應用服務器 完全 展示 服務 　　本人，從畢業開始接觸測試，但是性能方面一無所知。之前在第一份工作，測過安卓客戶端，當時寫過一個非常簡單的shell腳本，push到手機系統內，用於手機硬件信息。但是在服務端的性能方面，

性能測試基礎知識

性能測試；需求分析；負載測試；壓力測試性能測試目的掌握服務器各項性能指標才能以最少的成本，讓用戶得到最好的體驗；掌握和評估系統的能力；暴露系統的弱點；為系統問題提供依據；驗證系統穩定性和可靠性；性能測試需求分析客戶有明確的要求eg：系統要求同時滿足100用戶登錄，平均每個登錄時間不能超過5s。只想知道目前系統

關於redis性能問題分析和優化

replica latency fragment 帶寬 more 日誌文件 隨機 2.6 one 一、如何查看Redis性能 info命令輸出的數據可分為10個分類，分別是： server,clients,memory,persistence,stats,repli

最大概率法分詞及性能測試

初始化 and ifs push 復位 enc prev 特殊字符 mat 最大概率分詞是一種最主要的統計方法分詞。一個待切割的字符串有多種分詞結果，最大概率分詞的原則是將當中概率最大的那個作為該字符串的分詞結果。 第一部分 理論基礎