2. 程式人生 > >NET Core中使用Redis和Memcached

NET Core中使用Redis和Memcached

阿新 • • 發佈：2018-03-15
前言 date toa 聯系 timespan 執行 mod init rtu

前言

在使用分布式緩存的時候，都不可避免的要做這樣一步操作，將數據序列化後再存儲到緩存中去。

序列化這一操作，或許是顯式的，或許是隱式的，這個取決於使用的package是否有幫我們做這樣一件事。

本文會拿在.NET Core環境下使用Redis和Memcached來當例子說明，其中，Redis主要是用StackExchange.Redis，Memcached主要是用EnyimMemcachedCore。

先來看看一些我們常用的序列化方法。

常見的序列化方法

或許，比較常見的做法就是將一個對象序列化成byte數組，然後用這個數組和緩存服務器進行交互。

關於序列化，業界有不少算法，這些算法在某種意義上表現的結果就是速度

和體積這兩個問題。

其實當操作分布式緩存的時候，我們對這兩個問題其實也是比較看重的！

在同等條件下，序列化和反序列化的速度，可以決定執行的速度是否能快一點。

序列化的結果，也就是我們要往內存裏面塞的東西，如果能讓其小一點，也是能節省不少寶貴的內存空間。

當然，本文的重點不是去比較那種序列化方法比較牛逼，而是介紹怎麽結合緩存去使用，也順帶提一下在使用緩存時，序列化可以考慮的一些點。

下面來看看一些常用的序列化的庫：

  1. System.Runtime.Serialization.Formatters.Binary
  2. Newtonsoft.Json
  3. protobuf-net
  4. MessagePack-CSharp
  5. ....

在這些庫中

System.Runtime.Serialization.Formatters.Binary是.NET類庫中本身就有的，所以想在不依賴第三方的packages時，這是個不錯的選擇。

Newtonsoft.Json應該不用多說了。

protobuf-net是.NET實現的Protocol Buffers。

MessagePack-CSharp是極快的MessagePack序列化工具。

這幾種序列化的庫也是筆者平時有所涉及的，還有一些不熟悉的就沒列出來了！

在開始之前，我們先定義一個產品類，後面相關的操作都是基於這個類來說明。

public class Product
{
    public int Id { get; set; }

    public string Name { get; set; }
}

下面先來看看Redis的使用。

Redis

在介紹序列化之前，我們需要知道在StackExchange.Redis中，我們要存儲的數據都是以RedisValue的形式存在的。並且RedisValue是支持string，byte[]等多種數據類型的。

換句話說就是，在我們使用StackExchange.Redis時，存進Redis的數據需要序列化成RedisValue所支持的類型。

這就是前面說的需要顯式的進行序列化的操作。

先來看看.NET類庫提供的BinaryFormatter。

序列化的操作

using (var ms = new MemoryStream())
{
    formatter.Serialize(ms, product);                
    db.StringSet("binaryformatter", ms.ToArray(), TimeSpan.FromMinutes(1));
}

反序列化的操作

var value = db.StringGet("binaryformatter");

using (var ms = new MemoryStream(value))
{
    var desValue = (Product)(new BinaryFormatter().Deserialize(ms));
    Console.WriteLine($"{desValue.Id}-{desValue.Name}");
}

寫起來還是挺簡單的，但是這個時候運行代碼會提示下面的錯誤！

技術分享圖片

說是我們的Product類沒有標記Serializable。下面就是在Product類加上[Serializable]。

技術分享圖片

再次運行，已經能成功了。

技術分享圖片

再來看看Newtonsoft.Json

序列化的操作

using (var ms = new MemoryStream())
{
    using (var sr = new StreamWriter(ms, Encoding.UTF8))
    using (var jtr = new JsonTextWriter(sr))
    {
        jsonSerializer.Serialize(jtr, product);
    }                
    db.StringSet("json", ms.ToArray(), TimeSpan.FromMinutes(1));
}

反序列化的操作

var bytes = db.StringGet("json");

using (var ms = new MemoryStream(bytes))
using (var sr = new StreamReader(ms, Encoding.UTF8))
using (var jtr = new JsonTextReader(sr))
{
    var desValue = jsonSerializer.Deserialize<Product>(jtr);
    Console.WriteLine($"{desValue.Id}-{desValue.Name}");
}

由於Newtonsoft.Json對我們要進行序列化的類有沒有加上Serializable並沒有什麽強制性的要求，所以去掉或保留都可以。

運行起來是比較順利的。

技術分享圖片

當然，也可以用下面的方式來處理的：

var objStr = JsonConvert.SerializeObject(product);
db.StringSet("json", Encoding.UTF8.GetBytes(objStr), TimeSpan.FromMinutes(1));

var resStr = Encoding.UTF8.GetString(db.StringGet("json"));
var res = JsonConvert.DeserializeObject<Product>(resStr);

再來看看ProtoBuf

序列化的操作

using (var ms = new MemoryStream())
{
    Serializer.Serialize(ms, product);
    db.StringSet("protobuf", ms.ToArray(), TimeSpan.FromMinutes(1));
}

反序列化的操作

var value = db.StringGet("protobuf");

using (var ms = new MemoryStream(value))
{
    var desValue = Serializer.Deserialize<Product>(ms); 
    Console.WriteLine($"{desValue.Id}-{desValue.Name}");
}

用法看起來也是中規中矩。

但是想這樣就跑起來是沒那麽順利的。錯誤提示如下：

技術分享圖片

處理方法有兩個，一個是在Product類和屬性上面加上對應的Attribute，另一個是用ProtoBuf.Meta在運行時來處理這個問題。可以參考AutoProtobuf的實現。

下面用第一種方式來處理，直接加上[ProtoContract]和[ProtoMember]這兩個Attribute。

技術分享圖片

再次運行就是我們所期望的結果了。

技術分享圖片

最後來看看MessagePack，據其在Github上的說明和對比，似乎比其他序列化的庫都強悍不少。

它默認也是要像Protobuf那樣加上MessagePackObject和Key這兩個Attribute的。

不過它也提供了一個IFormatterResolver參數，可以讓我們有所選擇。

下面用的是不需要加Attribute的方法來演示。

序列化的操作

var serValue = MessagePackSerializer.Serialize(product, ContractlessStandardResolver.Instance);
db.StringSet("messagepack", serValue, TimeSpan.FromMinutes(1));

反序列化的操作

var value = db.StringGet("messagepack");
var desValue = MessagePackSerializer.Deserialize<Product>(value, ContractlessStandardResolver.Instance);

此時運行起來也是正常的。

技術分享圖片

其實序列化這一步，對Redis來說是十分簡單的，因為它顯式的讓我們去處理，然後把結果進行存儲。

上面演示的4種方法，從使用上看，似乎都差不多，沒有太大的區別。

如果拿Redis和Memcached對比，會發現Memcached的操作可能比Redis的略微復雜了一點。

下面來看看Memcached的使用。

Memcached

EnyimMemcachedCore默認有一個 DefaultTranscoder
，對於常規的數據類型(int,string等)本文不細說，只是特別說明object類型。

在DefaultTranscoder中，對Object類型的數據進行序列化是基於Bson的。

還有一個BinaryFormatterTranscoder是屬於默認的另一個實現，這個就是基於我們前面的說.NET類庫自帶的System.Runtime.Serialization.Formatters.Binary。

先來看看這兩種自帶的Transcoder要怎麽用。

先定義好初始化Memcached相關的方法，以及讀寫緩存的方法。

初始化Memcached如下：

private static void InitMemcached(string transcoder = "")
{
    IServiceCollection services = new ServiceCollection();
    services.AddEnyimMemcached(options =>
    {
        options.AddServer("127.0.0.1", 11211);
        options.Transcoder = transcoder;
    });
    services.AddLogging();
    IServiceProvider serviceProvider = services.BuildServiceProvider();
    _client = serviceProvider.GetService<IMemcachedClient>() as MemcachedClient;
}

這裏的transcoder就是我們要選擇那種序列化方法(針對object類型)，如果是空就用Bson，如果是BinaryFormatterTranscoder用的就是BinaryFormatter。

需要註意下面兩個說明

  1. 2.1.0版本之後，Transcoder由ITranscoder類型變更為string類型。
  2. 2.1.0.5版本之後，可以通過依賴註入的形式來完成，而不用指定string類型的Transcoder。

讀寫緩存的操作如下：

private static void MemcachedTrancode(Product product)
{
    _client.Store(Enyim.Caching.Memcached.StoreMode.Set, "defalut", product, DateTime.Now.AddMinutes(1));

    Console.WriteLine("serialize succeed!");

    var desValue = _client.ExecuteGet<Product>("defalut").Value;

    Console.WriteLine($"{desValue.Id}-{desValue.Name}");
    Console.WriteLine("deserialize succeed!");
}

我們在Main方法中的代碼如下 ：

static void Main(string[] args)
{
    Product product = new Product
    {
      Id = 999,
      Name = "Product999"
    };
    
    //Bson
    string transcoder = "";
    //BinaryFormatter
    //string transcoder = "BinaryFormatterTranscoder";            
    InitMemcached(transcoder);
    MemcachedTrancode(product);
    
    Console.ReadKey();
}

對於自帶的兩種Transcoder，跑起來還是比較順利的，在用BinaryFormatterTranscoder時記得給Product類加上[Serializable]就好！

下面來看看如何借助MessagePack來實現Memcached的Transcoder。

這裏繼承DefaultTranscoder就可以了，然後重寫SerializeObject，DeserializeObject和Deserialize這三個方法。

public class MessagePackTranscoder : DefaultTranscoder
{
    protected override ArraySegment<byte> SerializeObject(object value)
    {
        return MessagePackSerializer.SerializeUnsafe(value, TypelessContractlessStandardResolver.Instance);
    }

    public override T Deserialize<T>(CacheItem item)
    {
        return (T)base.Deserialize(item);
    }

    protected override object DeserializeObject(ArraySegment<byte> value)
    {
        return MessagePackSerializer.Deserialize<object>(value, TypelessContractlessStandardResolver.Instance);
    }
}

慶幸的是，MessagePack有方法可以讓我們直接把一個object序列化成ArraySegment，也可以把ArraySegment 反序列化成一個object！！

相比Json和Protobuf，省去了不少操作！！

這個時候，我們有兩種方式來使用這個新定義的MessagePackTranscoder。

方式一 ：在使用的時候，我們只需要替換前面定義的transcoder變量即可(適用>=2.1.0版本)。

string transcoder = "CachingSerializer.MessagePackTranscoder,CachingSerializer";

註：如果使用方式一來處理，記得將transcoder的拼寫不要錯，並且要帶上命名空間，不然創建的Transcoder會一直是null，從而走的就是Bson了! 本質是 Activator.CreateInstance，應該不用多解釋。

方式二：通過依賴註入的方式來處理(適用>=2.1.0.5版本)

private static void InitMemcached(string transcoder = "")
{
    IServiceCollection services = new ServiceCollection();
    services.AddEnyimMemcached(options =>
    {
        options.AddServer("127.0.0.1", 11211);
        //這裏保持空字符串或不賦值，就會走下面的AddSingleton
        //如果這裏賦了正確的值，後面的AddSingleton就不會起作用了
        options.Transcoder = transcoder;
    });
    //使用新定義的MessagePackTranscoder
    services.AddSingleton<ITranscoder, MessagePackTranscoder>();
    
    //others...
}

運行之前加個斷點，確保真的進了我們重寫的方法中。

技術分享圖片

最後的結果：

技術分享圖片

Protobuf和Json的，在這裏就不一一介紹了，這兩個處理起來比MessagePack復雜了不少。可以參考MemcachedTranscoder這個開源項目，也是MessagePack作者寫的，雖然是5年前的，但是一樣的好用。

對於Redis來說，在調用Set方法時要顯式的將我們的值先進行序列化，不那麽簡潔，所以都會進行一次封裝在使用。

對於Memcached來說，在調用Set方法的時候雖然不需要顯式的進行序列化，但是有可能要我們自己去實現一個Transcoder，這也是有點麻煩的。

下面給大家推薦一個簡單的緩存庫來處理這些問題。

使用EasyCaching來簡化操作

EasyCaching是筆者在業余時間寫的一個簡單的開源項目，主要目的是想簡化緩存的操作，目前也在不斷的完善中。

EasyCaching提供了前面所說的4種序列化方法可供選擇：

  1. BinaryFormatter
  2. MessagePack
  3. Json
  4. ProtoBuf

如果這4種都不滿足需求，也可以自己寫一個，只要實現IEasyCachingSerializer這個接口相應的方法即可。

Redis

在介紹怎麽用序列化之前，先來簡單看看是怎麽用的(用ASP.NET Core Web API做演示)。

添加Redis相關的nuget包

Install-Package EasyCaching.Redis

修改Startup

public class Startup
{
    //...

    public void ConfigureServices(IServiceCollection services)
    {
        //other services.

        //Important step for Redis Caching       
        services.AddDefaultRedisCache(option=>
        {                
            option.Endpoints.Add(new ServerEndPoint("127.0.0.1", 6379));
            option.Password = "";
        });
    }
}

然後在控制器中使用：

[Route("api/[controller]")]
public class ValuesController : Controller
{
    private readonly IEasyCachingProvider _provider;

    public ValuesController(IEasyCachingProvider provider)
    {
        this._provider = provider;
    }

    [HttpGet]
    public string Get()
    {
        //Set
        _provider.Set("demo", "123", TimeSpan.FromMinutes(1));

        //Get without data retriever
        var res = _provider.Get<string>("demo");

        _provider.Set("product:1", new Product { Id = 1, Name = "name"}, TimeSpan.FromMinutes(1))

        var product = _provider.Get<Product>("product:1");
          
        return  $"{res.Value}-{product.Value.Id}-{product.Value.Name}";  
    }
}
  1. 使用的時候，在構造函數對IEasyCachingProvider進行依賴註入即可。
  2. Redis默認用了BinaryFormatter來進行序列化。

下面我們要如何去替換我們想要的新的序列化方法呢？

以MessagePack為例，先通過nuget安裝package

Install-Package EasyCaching.Serialization.MessagePack

然後只需要在ConfigureServices方法中加上下面這句就可以了。

public void ConfigureServices(IServiceCollection services)
{
    //others..
    
    services.AddDefaultMessagePackSerializer();
}

Memcached

同樣先來簡單看看是怎麽用的(用ASP.NET Core Web API做演示)。

添加Memcached的nuget包

Install-Package EasyCaching.Memcached

修改Startup

public class Startup
{
    //...

    public void ConfigureServices(IServiceCollection services)
    {
        services.AddMvc();

        //Important step for Memcached Cache
        services.AddDefaultMemcached(option=>
        {                
            option.AddServer("127.0.0.1",11211);            
        });        
    }

    public void Configure(IApplicationBuilder app, IHostingEnvironment env)
    {
        //Important step for Memcache Cache
        app.UseDefaultMemcached();    
    }
}

在控制器中使用時和Redis是一模一樣的。

這裏需要註意的是，在EasyCaching中，默認使用的序列化方法並不是DefaultTranscoder中的Bson，而是BinaryFormatter

如何去替換默認的序列化操作呢？

同樣以MessagePack為例，先通過nuget安裝package

Install-Package EasyCaching.Serialization.MessagePack

剩下的操作和Redis是一樣的！

public void ConfigureServices(IServiceCollection services)
{
    //others..
    services.AddDefaultMemcached(op=>
    {                
        op.AddServer("127.0.0.1",11211);
    });
    //specify the Transcoder use messagepack serializer.
    services.AddDefaultMessagePackSerializer();
}

因為在EasyCaching中，有一個自己的Transcoder，這個Transcoder對IEasyCachingSerializer進行註入，所以只需要指定對應的Serializer即可。

總結

一、 先來看看文中提到的4種序列化的庫

System.Runtime.Serialization.Formatters.Binary在使用上需要加上[Serializable]，效率是最慢的，優勢就是類庫裏面就有，不需要額外引用其他package。

Newtonsoft.Json使用起來比較友善，可能是用的多的緣故，也不需要我們對已經定義好的類加一些Attribute上去。

protobuf-net使用起來可能就略微麻煩一點，可以在定義類的時候加上相應的Attribute，也可以在運行時去處理(要註意處理子類)，不過它的口碑還是不錯的。

MessagePack-CSharp雖然可以不添加Attribute，但是不加比加的時候也會有所損耗。

至於如何選擇，可能就要視情況而定了！

有興趣的可以用BenchmarkDotNet跑跑分，我也簡單寫了一個可供參考：SerializerBenchmark

二、在對緩存操作的時候，可能會更傾向於“隱式”操作，能直接將一個object扔進去，也可以直接將一個object拿出來，至少能方便使用方。

三、序列化操作時，Redis要比Memcached簡單一些。

最後，如果您在使用EasyCaching，有問題或建議可以聯系我！

前半部分的示例代碼：CachingSerializer

後半部分的示例代碼：sample

NET Core中使用Redis和Memcached

相關推薦

asp.net core中IHttpContextAccessor和HttpContextAccessor的妙用

class sys image 只需要 iap href build .com bubuko 分享一篇文章，關於asp.net core中httpcontext的拓展。 現在，試圖圍繞HttpContext.Current構建你的代碼真的不是一個好主意，但是我想如果你

.NET Core中建立和使用NuGet包

在.NET Core的專案中，如果我們要在專案中引用其它DLL檔案，不建議直接在專案引用中新增DLL檔案（雖然在.NET Core專案中也可以這麼做），建議是去直接下載DLL檔案所屬的NuGet包。這樣最大的好處是我們可以將要引用DLL檔案的所有依賴檔案也一起引入到專案中，這樣保證了引用檔案的完整性，讓其可以

談談在.NET Core中使用Redis和Memcached的序列化問題

rman -m string create 讓其 ride builder cnblogs ron 前言 在使用分布式緩存的時候，都不可避免的要做這樣一步操作，將數據序列化後再存儲到緩存中去。 序列化這一操作，或許是顯式的，或許是隱式的，這個取決於使用的package是否有

NET Core中使用Redis和Memcached

前言 date toa 聯系 timespan 執行 mod init rtu 前言 在使用分布式緩存的時候，都不可避免的要做這樣一步操作，將數據序列化後再存儲到緩存中去。 序列化這一操作，或許是顯式的，或許是隱式的，這個取決於使用的package是否有幫我們做這樣一件事

Net Core中數據庫事務隔離詳解——以Dapper和Mysql為例

事務 ring 增刪改 tostring 測試 stc efault 多個 log Net Core中數據庫事務隔離詳解——以Dapper和Mysql為例 事務隔離級別 準備工作 Read uncommitted 讀未提交 Read committed 讀取提交內

NET Core中使用MediatR實現命令和中介者模式

tab 添加 www. 執行 重定向 什麽 接下來 ont 修飾 NET Core中使用MediatR實現命令和中介者模式 https://www.cnblogs.com/yilezhu/p/9866068.html 在本文中，我將解釋命令模式，以及如何利用基於命令模式的第

Asp.net Core 快取 MemoryCache 和 Redis

https://blog.csdn.net/warrior21st/article/details/62884629 快取介面 ICacheService    　　快取也好，資料庫也好，我們就是進行CRUD操作，介面沒什麼好解釋的，註釋我寫的很明白，這裡就

ASP.NET Core 中的會話和應用狀態

原文地址：https://docs.microsoft.com/zh-cn/aspnet/core/fundamentals/app-state?view=aspnetcore-2.1 作者：Rick Anderson、Steve Smith、Diana LaRose 和 Luke Latham

.NET Core 中的通用主機和後臺服務

目錄 簡介 基本用法 進階使用 整合第三方日誌 Nlog 整合 EF Core 消費 MQ 訊息 整合 Quartz 部署 BackgroundService 和 IHostedService 原始碼 參考 簡介 我

NET Core 中的通用主機和後臺服務

NET Core 中的通用主機和後臺服務 https://www.cnblogs.com/royzshare/p/10083453.html .NET Core 中的通用主機和後臺服務 簡介 我們在做專案的時候, 往往要處理一些後臺的任務. 一般是兩種, 一種是不停的執行，比如訊息佇列的消費者。另一種是定

EF的Include 在.NET Framework 和.net core 中進行多個表查詢的時候不同的寫法

下午正在開開心心擼程式碼的時候，老闆叫我過去說要問我問題，因為老闆最近莫名對.Net產生興趣，開始自己看書擼後臺，所以經常把我叫辦公室問我一些我也不懂的問題（畢竟我也是渣渣，老闆也算是推動我學習進步的源泉，每次問完我我都要去先自己學一遍，再去教老闆）。 問題如下  在專案中

ASP.NET Core與Dapper和VS 2017使用JWT身份驗證WEB API並在Angular2客戶端應用程式中使用它

目錄 介紹 背景 步驟1 建立ASP.NET Core Web API專案 Fitness.JWT.API專案說明 使用程式碼 startup.cs JwtIssuerOptions.cs JwtController.cs identity.FindFir

Asp.Net Core中服務的生命週期選項區別和用法

　　在做一個小的Demo中，在一個介面上兩次呼叫檢視元件，並且在檢視元件中都呼叫了資料庫查詢，結果發現，一直報錯，將兩個檢視元件的呼叫分離，單獨進行，卻又是正常的，尋找一番，發現是配置依賴注入服務時，對於服務的生命週期沒有配置得當導致，特此做一次實驗來認識三者之間(甚至是四者之間的用法及區別)。 一、服務

[譯]ASP.NET Core中使用MediatR實現命令和中介者模式

在本文中，我將解釋命令模式，以及如何利用基於命令模式的第三方庫來實現它們，以及如何在ASP.NET Core中使用它來解決我們的問題並使程式碼簡潔。因此，我們將通過下面的主題來進行相關的講解。 什麼是命令模式? 命令模式的簡單例項以及中介者模式的簡單描述 MVC中的瘦控制器是什麼?我們是如如何實現使控制器

.net core cookie登入和session的 DataProtectionProvider 加入 redis

  string redisConnectionString = Configuration.GetSection("Storage:Redis").GetValue<string>("ConnectionString");

Net Core中資料庫事務隔離詳解——以Dapper和Mysql為例

原文: Net Core中資料庫事務隔離詳解——以Dapper和Mysql為例 Net Core中資料庫事務隔離詳解——以Dapper和Mysql為例 事務隔離級別 準備工作 Read uncommitted 讀未提交 Read

【無私分享：ASP.NET CORE 專案實戰（第十一章）】Asp.net Core 快取 MemoryCache 和 Redis

1 /// <summary> 2 /// 修改快取 3 /// </summary> 4 /// <param name="key">快取Key</param> 5 ///

Asp.net Core中使用Redis 來儲存Session

今天 無意看到Asp.net Core中使用Session  ，首先要使用Session就必須新增Microsoft.AspNetCore.Session包，預設Session是隻能存去位元組，所以如果你想存取string的，那麼還的引入Microsoft.AspNetC

.Net Core下 Redis的String Hash List Set和Sorted Set的例子

1.新建一個.Net Core控制檯應用程式，用Nuget匯入驅動 開啟程式包管理控制檯， 執行以下程式碼。 PM> Install-Package ServiceStack.Redis 即可新增Redis的引用。 2.StringDemo String型別是最常用

ASP.NET Core中GetService（）和GetRequiredService（）之間的區別

上篇文章《在.NET Core 3.0中的WPF中使用IOC圖文教程》中，我們嘗試在WPF中應用.NET Core內建的IOC進行程式設計，在解析MainWindow的時候我用了GetRequiredService<T>()方法，當時就在想這個GetRequiredService<T>