python的垃圾回收机制

Shun

0. 楔子
当python解释器执行创建对象等语句时，会在内存中开辟一块空间存储相关内容，但是我们知道内存这个硬件，
空间是有限的，比如我的电脑才8G的内存，如果我开发了一个大型程序，里面会创建很多的对象，开辟很多内存
空间，但是如果你一直不清理的话，内存就会溢出，会产生内存危机。
毫无疑问，内存空间的申请与回收都是非常耗费精力的事情，而且存在很大的危险性，稍有不慎就有可能引发内存
溢出问题，好在Cpython解释器提供了自动的垃圾回收机制来帮我们解决了这件事。

1. 什么是垃圾回收机制？
Python的垃圾回收机制 （ 简称GC ） 主要采用的是引用计数为主、标记清除与分代回收为辅的垃圾回收策略。

2. 为什么要使用垃圾回收机制？
程序运行过程中会申请大量的内存空间，而对于一些无用的内存空间如果不及时清理的话会导致内存使用殆尽（内
存溢出），导致程序崩溃，因此管理内存是一件重要且繁杂的事情，而python解释器自带的垃圾回收机制把程序
员从繁杂的内存管理中解放出来。

3. 理解GC原理需要储备的知识
3.1 栈区和堆区
在定义变量时，变量名与变量值都是需要存储的，分别对应内存中的两块区域：栈区与堆区。

# 1、变量名与值内存地址的关联关系存放于栈区
# 2、变量值存放于堆区，内存管理回收的则是堆区的内容，也就是那些值

定义了两个变量x = 10、y = 20，详解如下图,

当我们执行x=y时，内存中的栈区与堆区变化如下

3.2 直接引用与间接引用
直接引用指的是从栈区出发直接引用到的内存地址。
间接引用指的是从栈区出发引用到堆区后，再通过进一步引用才能到达的内存地址。
举个栗子：

l2 = [20, 30]  # 列表本身被变量名l2直接引用，包含的元素被列表间接引用
x = 10     # 值10被变量名x直接引用
l1 = [x, l2]  # 列表本身被变量名l1直接引用，包含的元素被列表间接引用

3.3、垃圾回收机制原理分析
Python的GC模块主要运用了“引用计数”（reference counting）来跟踪和回收垃圾。在引用计数的基础上，还
可以通过“标记-清除”（mark and sweep）解决容器对象可能产生的循环引用的问题，并且通过“分代回
收”（generation collection）以空间换取时间的方式来进一步提高垃圾回收的效率。

4. 引用计数机制
在Python中，万事万物皆为对象，底层实现中都是一个PyObject：

typedef struct _object {
  _PyObject_HEAD_EXTRA
  Py_ssize_t ob_refcnt;
  struct _typeobject *ob_type;
} PyObject;

其中，ob_refcnt属性记录着该对象的引用次数，当有东西引用该对象时，该属性会加1，引用该对象被删除时，
该属性会减1，如果引用次数为0，就会触发垃圾回收机制 ，将这块内存空间释放出来。
引用又分为直接引用和间接引用。
常见的引用计数+1的情况：
1、对象被创建，例如a=23
2、对象被引用，例如b=a
3、对象被作为参数，传入到一个函数中，例如func(a)
4、对象作为一个元素，存储在容器中，例如list1=[1,a]
引用计数-1的情况
1、对象被del，例如 name=‘alex’   del  name
2、重新赋值，例如 age = 18， age = 19
4.1 循环引用
引用计数机制存在着一个致命的弱点，即循环引用（也称交叉引用）

# 如下我们定义了两个列表，简称列表1与列表2，变量名l1指向列表1，变量名l2指向列表2
>>> l1=['xxx']  # 列表1被引用一次，列表1的引用计数变为1   
>>> l2=['yyy']  # 列表2被引用一次，列表2的引用计数变为1   
>>> l1.append(l2)       # 把列表2追加到l1中作为第二个元素，列表2的引用计数变为2
>>> l2.append(l1)       # 把列表1追加到l2中作为第二个元素，列表1的引用计数变为2
# l1与l2之间有相互引用
# l1 = ['xxx'的内存地址,列表2的内存地址]
# l2 = ['yyy'的内存地址,列表1的内存地址]
>>> l1
['xxx', ['yyy', [...]]]
>>> l2
['yyy', ['xxx', [...]]]
>>> l1[1][1][0]
'xxx'

循环引用会出现一种情况就是，当你在栈区删除了直接引用，但是堆区中仍然存在着间接应用，但是你又无法取到
这个值，因为我们取值都是通过栈区中的存放的内存地址找到的。这样他们的引用计数就不会是0，就不会被清
除，就一直存放在内存中，但又取不到。本质上就是垃圾了。但是单纯的通过引用计数就完成不了内存的释放了。
这时候引出了标记清除。

5. 标记清除
容器对象（比如：list，set，dict，class，instance）都可以包含对其他对象的引用，所以都可能产生循环引用。
而“标记-清除”计数就是为了解决循环引用的问题。
标记/清除算法的做法是当应用程序可用的内存空间被耗尽的时，就会停止整个程序，然后进行两项工作，第一
项则是标记，第二项则是清除

#1、标记
通俗地讲就是：
栈区相当于“根”，凡是从根出发可以访达（直接或间接引用）的，都称之为“有根之人”，有根之人当活，无根之人当死。
具体地：标记的过程其实就是，遍历所有的GC Roots对象(栈区中的所有内容或者线程都可以作为GC Roots对象），然后将所有GC Roots的对象可以直接或间接访问到的对象标记为存活的对象，其余的均为非存活对象，应该被清除。
#2、清除
清除的过程将遍历堆中所有的对象，将没有标记的对象全部清除掉。

这样在启用标记清除算法时，从栈区出发，没有任何一条直接或间接引用可以访达l1与l2，即l1与l2成了“无根之
人”，于是l1与l2都没有被标记为存活，二者会被清理掉，这样就解决了循环引用带来的内存泄漏问题。
5.1 效率问题
基于引用计数的回收机制，每次回收内存，都需要把所有对象的引用计数都遍历一遍，这是非常消耗时间的，于是
引入了分代回收来提高回收效率，分代回收采用的是用“空间换时间”的策略

6. 分代回收
分代回收的核心思想是：在历经多次扫描的情况下，都没有被回收的变量，gc机制就会认为，该变量是常用变
量，gc对其扫描的频率会降低，具体实现原理如下：
分代:

#分代指的是根据存活时间来为变量划分不同等级（也就是不同的代）
#新定义的变量，放到新生代这个等级中，假设每隔1分钟扫描新生代一次，如果发现变量依然被引用，那么该对象的权（权重本质就是个整数）加一，当变量的权重大于某个设定得值（假设为3），会将它移动到更高一级的青春代，青春代的gc扫描的频率低于新生代（扫描时间间隔更长），假设5分钟扫描青春代一次，这样每次gc需要扫描的变量的总个数就变少了，节省了扫描的总时间，接下来，青春代中的对象，也会以同样的方式被移动到老年代中。也就是等级（代）越高，被垃圾回收机制扫描的频率越低

回收：
回收依然是使用引用计数作为回收的依据
虽然分代回收可以起到提升效率的效果，但也存在一定的缺点：

#例如一个变量刚刚从新生代移入青春代，该变量的绑定关系就解除了，该变量应该被回收，但青春代的扫描频率低于新生代，这就到导致了应该被回收的垃圾没有得到及时地清理。
#没有十全十美的方案：
毫无疑问，如果没有分代回收，即引用计数机制一直不停地对所有变量进行全体扫描，可以更及时地清理掉垃圾占用的内存，但这种一直不停地对所有变量进行全体扫描的方式效率极低，所以我们只能将二者中和。
#综上
垃圾回收机制是在清理垃圾&释放内存的大背景下，允许分代回收以极小部分垃圾不会被及时释放为代价，以此换取引用计数整体扫描频率的降低，从而提升其性能，这是一种以空间换时间的解决方案目录

本文绝大多数内容引用​​林海峰的知乎文章​​
注: 如果想从cpython解释器源码基础上了解垃圾回收机制，可见​​武沛齐老师的文章​​