数据库连接池的计数器设计

2019-11-14 16:40:18

字体：大中小

来源：转载

供稿：网友

设计过ORM的攻城狮们或多或少都应该考虑过连接池,考虑过连接池就或多或少会想过计数器....

<计数器在连接池中的应用>

曾经在我设计一套ORM的时候想过这样一种连接池的管理方式:

0.连接池中的所有连接都对应存在一个计数器,指示连接目前被多少对象引用;
当计数器从0变成1的时候,打开连接Connection.Open();
当计数器从1变成0的时候,关闭连接Connection.Close();
1.连接池中有一个默认连接DefaultConnection,这个连接被所有的非事务操作共用,比如查(select);
2.当发生一个查询操作的时候,先获得DefaultConnection,同时对应计数器+1,使用完之后DefaultConnection的计数器-1;
3.当发生事务操作的时候,会从连接池中申请一个连接数为0的Connection(但不会是DefaultConnection);
如果连接池中不存在这样的连接,则会新建一个并加入到连接池中;
获得Connection后对应计数器+1,使用完之后对应计数器-1;
4.如果申请事务操作时连接池已达到上限,且所有连接的计数器都大于1,则请求进入队列,直至得到Connection或超时;

<计数器1.0>

第一版的设计非常的简单,直接就是类似于这样的
ps:以下为示例代码,用意是便于理解,请不要太较真

class MyConnection{    public IDbConnection Connection { get; PRivate set; }    int _linkedCount;    public void Add()    {        var i = Interlocked.Increment(ref _linkedCount);        if (i == 1)        {            Connection.Open();        }    }    public void Remove()    {        var i = Interlocked.Decrement(ref _linkedCount);        if (i == 0)        {            Connection.Close();        }    }}class ORM{    public MyConnection Connection { get; private set; }    public int ExecuteNonQuery(string sql)    {        try        {            Connection.Add();            var cmd = Connection.Connection.CreateCommand();            cmd.CommandText = sql;            return cmd.ExecuteNonQuery();        }        finally        {            Connection.Remove();        }    }}

使用

using (ORM db = new ORM()){    db.ExecuteNonQuery("insert xxx,xxx,xx");}

<设计缺陷>

但是紧接着就出现一个问题了
如果我有一个方法,需要同时进行多个操作
比如

using (ORM db = new ORM()){    db.ExecuteNonQuery("insert aaa");    db.ExecuteNonQuery("insert bbb");    db.ExecuteNonQuery("insert ccc");    db.ExecuteNonQuery("insert ddd");}

这样其实已经开启关闭了4次数据库

这样的性能损耗是非常大的

所以我考虑这样的模式

using (ORM db = new ORM()){    db.Open();    db.ExecuteNonQuery("insert aaa");    db.ExecuteNonQuery("insert bbb");    db.ExecuteNonQuery("insert ccc");    db.ExecuteNonQuery("insert ddd");    db.Close();}

这样有经验的朋友一眼就可以看出更大的问题

如果insert ddd的报错了怎么办 Close就无法关闭了
换一种方式说,如果coder忘记写Close(),或者某个分支中忘记写Close()怎么办?

难道我要求所有coder都要写try..finally..?
也许你会说把Close放到using的Dispose方法中去

class ORM : IDisposable{    public MyConnection Connection { get; private set; }    public int ExecuteNonQuery(string sql)    {        try        {            Connection.Add();            var cmd = Connection.Connection.CreateCommand();            cmd.CommandText = sql;            return cmd.ExecuteNonQuery();        }        finally        {            Connection.Remove();        }    }        public void Open()    {        Connection.Add();    }    public void Close()    {        Connection.Remove();    }    public void Dispose()    {        Close();    }}

但是,如果这样 coder已经写了Close() 或者根本没写Open() 不是会多触发一个Remove()?

那岂不是会出现计数器=-1,-2...-N

<计数器 N.0>

其实我也不记得我尝试过多少种方案了,我只记得最终我是这样实现我想要的效果的:

0.首先,每个Add()加增的计数只有对应的Remove()可以减少

为了实现这一目标,每个Add()将会返回一个对象,而Remove(token)将接受这个对象,以便于控制-1这样的操作;

var token = Connection.Add();    //计数器+1......Connection.Remove(token);        //计数器-1Connection.Remove(token);        //无效果Connection.Remove(token);        //无效果

为了更加优化这样的效果,我将Add()的返回值设置为IDisposable
也就是说可以这样写

using (Connection.Add()){    //...    //...}

或者这样写

var token = Connection.Add();//...//...token.Dispose();

1.在同一个线程中,只有第一次执行Add会让计数器增加,同样,只有第一次执行Add的返回对象可以减少计数器;

var token1 = Connection.Add();    //计数器+1var token2 = Connection.Add();    //无效果var token3 = Connection.Add();    //无效果//...//...Connection.Remove(token3);        //无效果Connection.Remove(token2);        //无效果Connection.Remove(token1);        //计数器-1

需要实现这个效果,就必须利用LocalDataStoreSlot对象

/// <summary> 用于储存多线程间的独立数据/// </summary>private LocalDataStoreSlot _dataSlot = Thread.AllocateDataSlot();/// <summary> 增加引用,并获取用于释放引用的标记/// </summary>public IDisposable Add(){    //如果已经存在,则不计数    if (Thread.GetData(_dataSlot) != null)//如果变量值已经存在,则说明当前线程已经执行Add方法,则返回null    {        return null;    }    Thread.SetData(_dataSlot, string.Empty);//在当前线程中保存一个变量值    return new CounterToken(this);}/// <summary> 减少引用/// </summary>/// <param name="token">通过Add方法获取的标记对象</param>public void Reomve(IDisposable token){    if (token == null)    {        return;    }    if (token is CounterToken == false)    {        throw new ArgumentException("参数不是一个有效的引用标记", "token");    }    if (token.Equals(this) == false)//CounterToken已经重写Equals方法    {        throw new ArgumentOutOfRangeException("token", "此标记不属于当前计数器");    }    token.Dispose();}

其中CounterToken就是计数器的标记,实现IDisposable接口,是一个内部类

<问题解决>

通过这样2部步设置,就可以实现之前无法完成的效果了

而ORM部分的代码需要稍微修改下

class ORM : IDisposable{    public MyConnection Connection { get; private set; }    public int ExecuteNonQuery(string sql)    {        //try        //{            //Connection.Add();        using (Connection.Add())        {            var cmd = Connection.Connection.CreateCommand();            cmd.CommandText = sql;            return cmd.ExecuteNonQuery();        }        //}        //finally        //{        //    Connection.Remove();        //}        //return -1;    }    IDisposable _counterToken;    public void Open()    {        if (_counterToken == null)        {            _counterToken = Connection.Add();        }    }    public void Close()    {        Connection.Remove(_counterToken);        _counterToken = null;    }    public void Dispose()    {        Close();        Connection = null;    }}

调用的时候

using (ORM db = new ORM()){    db.Open();    db.ExecuteNonQuery("insert aaa");    db.ExecuteNonQuery("insert bbb");    db.ExecuteNonQuery("insert ccc");    db.ExecuteNonQuery("insert ddd");    db.Close();}

完全没有问题,只有一个Open()会增加计数器,最后一个Close()会减少计数器(如果有必要的话,他们会自动打开和关闭Connection());

关键的是,这样做我得到了一个额外的好处;

即使coder即忘记了using,也忘记了Close...

没关系,因为GC的存在,一旦CounterToken没有被任何人应用而释放掉了,那么计数器仍然会将他减掉;

<最后的封装>

最后的最后,我把这个计数器从MyConection中独立出来了(其实根本就不存在什么MyConection,都是我瞎编的,只是这样说比较好理解而已,哈哈~~)

计数器分为2个模式 ,之前文章中介绍的都是多线程模式,单线程模式只是附带的一个功能而已

单线程模式:无论在任何线程中每次执行Add方法都会增加引用数,执行Remove或者token.Dispose都会减少引用数
多线程模式:在相同线程中,只有第一次执行Add方法时增加引用数,也只有此token被Remove或Dispose才会减少引用数

ps:为了使计数器和数据库组件解耦,所以我在计数器中设计了一个ValueChaged事件

using System;using System.Collections.Generic;using System.Text;using System.Threading;namespace blqw{    /// <summary> 计数器,具有单线程模式和多线程模式    /// </summary>    public sealed class Counter    {        /// <summary> 构造一个计数器,默认单线程模式        /// <para>无论在任何线程中每次执行Add方法都会增加引用数,执行Remove或者token.Dispose都会减少引用数</para>        /// </summary>        public Counter()            :this(false)        {            Console.WriteLine();        }        /// <summary> 构造一个计数器,根据参数multiThreadMode确定是否使用多线程模式        /// <para>多线程模式:在相同线程中,只有第一次执行Add方法时增加引用数,也只有此token被Remove或Dispose才会减少引用数</para>        /// </summary>        /// <param name="multiThreadMode"></param>        public Counter(bool multiThreadMode)        {            if (multiThreadMode)            {                _dataSlot = Thread.AllocateDataSlot();            }        }        /// <summary> 当前引用数        /// </summary>        private int _value;         /// <summary> 值改变事件        /// </summary>        private EventHandler<CounterChangedEventArgs> _valueChanged;        /// <summary> 用于储存多线程间的独立数据,多线程模式下有值        /// </summary>        private LocalDataStoreSlot _dataSlot;        /// <summary> 增加引用,并获取用于释放引用的标记        /// </summary>        public IDisposable Add()        {            if (_dataSlot != null)            {                //获取当前线程中的值,此方法每个线程中获得的值都不同,不需要线程同步                //如果已经存在,则不计数                if (Thread.GetData(_dataSlot) != null)                {                    return null;                }                Thread.SetData(_dataSlot, string.Empty);            }            return new CounterToken(this);        }        /// <summary> 减少引用        /// </summary>        /// <param name="token">通过Add方法获取的标记对象</param>        public void Remove(IDisposable token)        {            if (token == null)            {                return;            }            if (token is CounterToken == false)            {                throw new ArgumentException("参数不是一个有效的引用标记", "token");            }            if (token.Equals(this) == false)            {                throw new ArgumentOutOfRangeException("token", "此标记不属于当前计数器");            }            token.Dispose();        }        /// <summary> 当前计数值        /// </summary>        public int Value        {            get { return _value; }        }        /// <summary> 增加记数        /// </summary>        private void OnIncrement()        {            var val = Interlocked.Increment(ref _value);            OnValueChanged(val, val - 1);        }        /// <summary> 减少计数        /// </summary>        private void OnDecrement()        {            if (_dataSlot != null)            {                Thread.SetData(_dataSlot, null);            }            var val = Interlocked.Decrement(ref _value);            OnValueChanged(val, val + 1);        }        /// <summary> 触发ValueChaged事件        /// </summary>        /// <param name="value">触发Value事件时Value的值</param>        /// <param name="oldValue">触发Value事件之前Value的值</param>        private void OnValueChanged(int value, int oldValue)        {            var handler = _valueChanged;            if (handler != null)            {                var e = new CounterChangedEventArgs(value, oldValue);                handler(this, e);            }        }        /// <summary> 计数器值改变事件        /// </summary>        public event EventHandler<CounterChangedEventArgs> ValueChanged        {            add            {                _valueChanged -= value;                _valueChanged += value;            }            remove            {                _valueChanged -= value;            }        }        /// <summary> 计数器引用标记,调用计数器的Add方法可获得该对象,释放对象时,减少计数器的计数值        /// </summary>        sealed class CounterToken : IDisposable        {            /// <summary> 宿主计数器            /// </summary>            private Counter _counter;            /// <summary> 释放标记,0未释放,1已释放,2执行了析构函数            /// </summary>            private int _disposeMark;            /// <summary> 构造函数,创建引用标记并增加宿主计数器的值            /// </summary>            /// <param name="counter">宿主计数器</param>            public CounterToken(Counter counter)            {                if (counter == null)                {                    throw new ArgumentNullException("counter");                }                _counter = counter;                _counter.OnIncrement();                _disposeMark = 0;            }            /// <summary> 析构函数            /// </summary>            ~CounterToken()            {                //如果尚未释放对象(标记为0),则将标记改为2,否则标记不变                Interlocked.CompareExchange(ref _disposeMark, 2, 0);                Dispose();            }            /// <summary> 释放引用标记,并减少宿主计数器的值            /// </summary>            public void Dispose()            {                //如果已释放(标记为1)则不执行任何操作                if (_disposeMark == 1)                {                    return;                }                //将标记改为1,并返回修改之前的值                var mark = Interlocked.Exchange(ref _disposeMark, 1);                //如果当前方法被多个线程同时执行,确保仅执行其中的一个                if (mark == 1)                {                    return;                }                //释放Counter引用数                try                {                    _counter.OnDecrement();                }                catch                {                                    }                _counter = null;                //如果mark=0,则通知系统不需要执行析构函数了                if (mark == 0)                {                    GC.SuppressFinalize(this);                }            }            /// <summary> 重新实现比较的方法            /// </summary>            /// <param name="obj"></param>            /// <returns></returns>            public override bool Equals(object obj)            {                if (obj is Counter)                {                    return object.ReferenceEquals(this._counter, obj);                }                return object.ReferenceEquals(this, obj);            }                    }    }    /// <summary> 计数器值改变事件的参数    /// </summary>    public class CounterChangedEventArgs:EventArgs    {        internal CounterChangedEventArgs(int value,int oldValue)        {            Value = value;            OldValue = oldValue;        }        /// <summary> 当前值        /// </summary>        public int Value { get; private set; }        /// <summary> 原值        /// </summary>        public int OldValue { get; private set; }    }}

Counter完整代码

var counter = new Counter(true);//多线程模式//var counter = new Counter();  //单线程模式new Thread(() =>{    using (counter.Add())           //计数器+1  当前计数器=1    {        Console.WriteLine("线程a:" + counter.Value);        using (counter.Add())       //计数器不变 当前计数器=1        {            Console.WriteLine("线程a:" + counter.Value);            using (counter.Add())   //计数器不变 当前计数器=1            {                Console.WriteLine("线程a:" + counter.Value);                Thread.Sleep(100);  //等待线程b执行,b执行完之后 当前计数器=1            }                       //计数器不变 当前计数器=1            Console.WriteLine("线程a:" + counter.Value);        }                           //计数器不变 当前计数器=1        Console.WriteLine("线程a:" + counter.Value);    }                               //计数器-1  当前计数器=0    Console.WriteLine("线程a:" + counter.Value);}).Start();Thread.Sleep(50);new Thread(() =>{    var token1 = counter.Add();    //计数器+1  当前计数器=2    Console.WriteLine("线程b:" + counter.Value);    var token2 = counter.Add();    //计数器不变 当前计数器=2    Console.WriteLine("线程b:" + counter.Value);    var token3 = counter.Add();    //计数器不变 当前计数器=2    Console.WriteLine("线程b:" + counter.Value);    counter.Remove(token3);        //计数器不变 当前计数器=2    Console.WriteLine("线程b:" + counter.Value);    counter.Remove(token2);        //计数器不变 当前计数器=2    Console.WriteLine("线程b:" + counter.Value);    counter.Remove(token1);        //计数器-1  当前计数器=1    Console.WriteLine("线程b:" + counter.Value);}).Start();Console.ReadLine();