最近在做一个WEB的数据统计的优化,但是由于数据量大,执行一次SQL统计要比较长的时间(一般700ms算是正常)。
正常的做法只要加个缓存就好了。
但是同时业务要求此数据最多1分钟就要更新,而且这一分种内数据可能会有较多变化(而且原系统不太易扩展)。
也就是说缓存1分钟就要失效重新统计,而且用户访问这页还很是频繁,如果使用一般缓存那么用户体验很差而且很容易造成超时。
看到以上需求,第一个进入我大脑的就是从前做游戏时接触到的DDraw的双缓冲显示方式。
在第一帧显示的同时,正在计算第二帧,这样读取和计算就可以分开了,也就避免了读取时计算,提高了用户体验。
我想当然我们也可以将这种方式用于缓存的策略中,但这样用空间换取时间的方式还是得权衡的,因为并不是所有时候都值得这么做,但这里我觉得这样做应该是最好的方式了。
注:为了可以好好演示,本篇中的缓存都以IEnumerable的形式来存储,当然这个文中原理也可以应用在WebCache中。
这里我使用以下数据结构做为存储单元:
namespace CHCache { /// <summary>/// 缓存介质/// </summary>publicclass Medium { /// <summary>/// 主要存储介质/// </summary>publicobject Primary { get; set; } /// <summary>/// 次要存储介质/// </summary>publicobject Secondary { get; set; } /// <summary>/// 是否正在使用主要存储/// </summary>publicbool IsPrimary { get; set; } /// <summary>/// 是否正在更新/// </summary>publicbool IsUpdating { get; set; } /// <summary>/// 是否更新完成/// </summary>publicbool IsUpdated { get; set; } } }
有了这个数据结构我们就可以将数据实现两份存储。再利用一些读写策略就可以实现上面我们讲的缓存方式。
整个的缓存我们使用如下缓存类来控制:
/* * http://www.cnblogs.com/chsword/ * chsword * Date: 2009-3-31 * Time: 17:00 * */ using System; using System.Collections; using System.Collections.Generic; using System.Threading; namespace CHCache { /// <summary>/// 双存储的类/// </summary>publicclass DictionaryCache : IEnumerable { /// <summary>/// 在此缓存构造时初始化字典对象/// </summary>public DictionaryCache() { Store = new Dictionary<string, Medium>(); } publicvoid Add(string key,Func<object> func) { if (Store.ContainsKey(key)) {//修改,如果已经存在,再次添加时则采用其它线程 var elem = Store[key]; if (elem.IsUpdating)return; //正在写入未命中 var th = new ThreadHelper(elem, func);//ThreadHelper将在下文提及,是向其它线程传参用的 var td = new Thread(th.Doit); td.Start(); } else {//首次添加时可能也要读取,所以要本线程执行 Console.WriteLine("Begin first write"); Store.Add(key, new Medium {IsPrimary = true, Primary = func()}); Console.WriteLine("End first write"); } } /// <summary>/// 读取时所用的索引/// </summary>/// <param name="key"></param>/// <returns></returns>publicobjectthis[string key] { get { if (!Store.ContainsKey(key))returnnull; var elem = Store[key]; if (elem.IsUpdated) {//如果其它线程更新完毕,则将主次转置 elem.IsUpdated = false; elem.IsPrimary = !elem.IsPrimary; } var ret = elem.IsPrimary ? elem.Primary : elem.Secondary; var b = elem.IsPrimary ? " from 1" : " form 2"; return ret + b; } } Dictionary<string, Medium> Store { get; set; } public IEnumerator GetEnumerator() { return ((IEnumerable)Store).GetEnumerator(); } } }
这里我只实现了插入一个缓存,以及读取的方法。
我读取缓存单元的逻辑是这样的
从2个不同缓存读取当然是很容易了,但是比较复杂的就是