首页 > 编程 > Python > 正文

python引用计数和gc垃圾回收

2019-11-06 07:15:54
字体:
来源:转载
供稿:网友

一,引用计数和垃圾回收介绍:

python采用"引用计数"和"垃圾回收"两种机制来管理内存。引用计数通过记录对象被引用的次数来管理对象。对对象的引用都会使得引用计数加1,移除对对象的引用,引用计数则会减1,当引用计数减为0时,对象所占的内存就会被释放掉。引用计数可以高效的管理对象的分配和释放,但是有一个缺点,就是无法释放引用循环的对象。最简单的就是下面的自己引用自己的例子:
def make_cycle():    l = [ ]    l.append(l)make_cycle()这个时候就需要垃圾回收机制(garbage collection),来回收循环应用的对象。垃圾回收机制会根据内存的分配和释放情况的而被调用,比如分配内存的次数减去释放内存的次数大于某一个阈值的时候。如下所示,我们可以通过gc对象来获取阈值:
import gcPRint "Garbage collection thresholds: %r" % gc.get_threshold()# Garbage collection thresholds: (700, 10, 10)当内存溢出时,不会自动调用garbage collection( gc ),因为gc更看重的是垃圾对象的个数, 而不是大小。对于长时间运行的程序,尤其是一些服务器应用,人为主动的调用gc是非常有必要的,如下代码所示:
import sys, gcdef make_cycle():    l = {}    l[0] = ldef main():    collected = gc.collect()    print "Garbage collector: collected %d objects." % (collected)    print "Creating cycles..."    for i in range(10):        make_cycle()    collected = gc.collect()    print "Garbage collector: collected %d objects." % (collected)if __name__ == "__main__":    ret = main()    sys.exit(ret)调用gc的策略有两种,一种是固定时间间隔进行调用,另一种是基于事件的调用。如1,用户终止了对应用的访问,2,明显监测到应用进入到闲置的状态,3,运行高性能服务前后,4,周期性、或阶段性工作的前后。注意gc虽好,但也不能常用,毕竟还是会消耗一定的计算资源。

二,gc垃圾回收方法(寻找引用循环对象):

可以发现,只有容器对象才会出现引用循环,比如列表、字典、类、元组。首先,为了追踪容器对象,需要每个容器对象维护两个额外的指针,用来将容器对象组成一个链表,指针分别指向前后两个容器对象,方便插入和删除操作。其次,每个容器对象还得添加gc_refs字段。一次gc垃圾回收步骤:1,使得gc_refs等于容器对象的引用计数。2,遍历每个容器对象(a),找到它(a)所引用的其它容器对象(b),将那个容器对象(b)的gc_refs减去1。3,将所有gc_refs大于0的容器对象(a)取出来,组成新的队列,因为这些容器对象被容器对象队列的外部所引用。4,任何被新队列里面的容器对象,所引用的容器对象(旧队列中)也要加入到新队列里面。5,释放旧队列里面的剩下的容器对象。(释放容器对象时,它所引用的对象的引用计数也要减1)

三,gc分代机制:

gc采用分代(generations)的方法来管理对象,总共分为三代(generation 0,1,2)。新产生的对象放到第0代里面。如果该对象在第0代的一次gc垃圾回收中活了下来,那么它就被放到第1代里面。如果第1代里面的对象在第1代的一次gc垃圾回收中活了下来,它就被放到第2代里面。gc.set_threshold(threshold0[, threshold1[, threshold2]])设置gc每一代垃圾回收所触发的阈值。从上一次第0代gc后,如果分配对象的个数减去释放对象的个数大于threshold0,那么就会对第0代中的对象进行gc垃圾回收检查。从上一次第1代gc后,如过第0代被gc垃圾回收的次数大于threshold1,那么就会对第1代中的对象进行gc垃圾回收检查。同样,从上一次第2代gc后,如过第1代被gc垃圾回收的次数大于threshold2,那么就会对第2代中的对象进行gc垃圾回收检查。如果threshold0设置为0,表示关闭分代机制。

四,最后的bug:__del__方法:

最后的问题就是__del__方法的调用。我们知道当引用计数变为0的时候,会先调用对象的__del__方法,然后再释放对象。但是当一个引用循环中对象有__del__方法时,gc就不知道该以什么样的顺序来释放环中对象。因为环中的a对象的__del__方法可能调用b对象,而b对象的__del__方法也有可能调用a对象。所以需要人为显式的破环。
import gcclass A(object):    def __del__(self):        print '__del__ in A'class B(object):    def __del__(self):        print '__del__ in B'         class C(object):    pass           if __name__=='__main__':    print 'collect: ',gc.collect()    print 'garbage: ',gc.garbage    a = A()    b = B()    c = C()    a.cc = c    c.bb = b    b.aa = a    del a,b,c    print 'collect: ',gc.collect()    print 'garbage: ',gc.garbage    del gc.garbage[0].cc # 当然,这是在我们知道第一个对象是 a的情况下,手动破除引用循环中的环    del gc.garbage[:] # 消除garbage对a和b对象的引用,这样引用计数减1等于0,就能回收a、b、c三个对象了    print 'garbage: ',gc.garbage    print '----------------------------'    print 'collect: ',gc.collect()    print 'garbage: ',gc.garbage如上所示:调用一次gc.collect(),首先检查因为引用循环而不可达对象,如果一个引用循环中所有对象都不包含__del__方法,那么这个引用循环中的对象都将直接被释放掉。否则,将引用循环中包含__del__方法的对象加入到gc.garbage列表中。(这时它们的引用计数也会加1,因此gc.collect()不会再对这个环进行处理)用户通过gc.garbage来获取这些对象,手动消除引用,进行破环。最后消除gc.garbage对这些对象的引用,这时这些对象的引用计数减1等于0,就自动被回收了。否则由于gc.garbage对这些对象存在引用,这些对象将永远不会被回收。

五,其它:

import weakrefclass Foo(object):    passa = Foo()a.bar = 123a.bar2 = 123del adel a.bar2b = weakref.ref(a)print b().barprint a == b()c = weakref.proxy(a)print c.barprint c == adel:只是使变量所代表的对象的引用计数减1,并在对应空间中删除该变量名。weak.ref:会返回a对象的引用,但是不会让a对象的引用计数加1。但是每次都得通过b()来获取a对象。weak.proxy:相对于weakref.ref更透明的可选操作,即直接通过c就获取a对象。

闭包空间的变量和自由变量的释放问题:

class A(object):    def __init__(self,name):        self._name = name    def __del__(self):        print '__del__ in ',self._name     def f1():    a = A('a')    b = A('b')    def f2():        c = A('c')        print a    return f2            if __name__=='__main__':    print 'f2 = f1():'    f2 = f1()    print '/na.__closure__:'    print f2.__closure__ # 查看f2的闭包里面引用了a对象    print '/na():'    f2()    print '/ndel f2:'    del f2 # 此时已经没有任何变量可以引用到返回的f2对象了。    print '/nover!'

参考:

http://www.digi.com/wiki/developer/index.php/Python_Garbage_Collectionhttp://arctrix.com/nas/python/gc/https://docs.python.org/2.7/library/gc.html

注:python2.7版本


发表评论 共有条评论
用户名: 密码:
验证码: 匿名发表