__slots__魔法

在Python中，每个类都有实例属性。默认情况下Python用一个字典来保存一个对象的实例属性。这非常有用，因为它允许我们在运行时去设置任意的新属性。

然而，对于有着已知属性的小类来说，它可能是个瓶颈。这个字典浪费了很多内存。Python不能在对象创建时直接分配一个固定量的内存来保存所有的属性。因此如果你创建许多对象（我指的是成千上万个），它会消耗掉很多内存。
不过还是有一个方法来规避这个问题。这个方法需要使用__slots__来告诉Python不要使用字典，而且只给一个固定集合的属性分配空间。

这里是一个使用与不使用__slots__的例子：

  • 不使用 __slots__:

    1. classMyClass(object):
    2. def __init__(self, name, identifier):
    3.       self.name = name
    4.       self.identifier = identifier
    5.       self.set_up()
    6. # ...

  • 使用 __slots__:

    1. classMyClass(object):
    2.   __slots__ =['name','identifier']
    3. def __init__(self, name, identifier):
    4.       self.name = name
    5.       self.identifier = identifier
    6.       self.set_up()
    7. # ...

第二段代码会为你的内存减轻负担。通过这个技巧，有些人已经看到内存占用率几乎40%~50%的减少。

稍微备注一下，你也许需要试一下PyPy。它已经默认地做了所有这些优化。

以下你可以看到一个例子，它用IPython来展示在有与没有__slots__情况下的精确内存占用，感谢 https://github.com/ianozsvald/ipython_memory_usage

  1. Python3.4.3(default,Jun62015,13:32:34)
  2. Type"copyright","credits"or"license"for more information.
  4. IPython4.0.0--An enhanced InteractivePython.
  5. ?->Introductionand overview of IPython's features.
  6. %quickref -> Quick reference.
  7. help      -> Python's own help system.
  8. object?->Details about 'object', use 'object??'for extra details.
  10. In[1]:import ipython_memory_usage.ipython_memory_usage as imu
  12. In[2]: imu.start_watching_memory()
  13. In[2] used 0.0000MiB RAM in5.31s, peaked 0.00MiB above current, total RAM usage 15.57MiB
  15. In[3]:%cat slots.py
  16. classMyClass(object):
  17.         __slots__ =['name','identifier']
  18. def __init__(self, name, identifier):
  19.                 self.name = name
  20.                 self.identifier = identifier
  22. num =1024*256
  23. x =[MyClass(1,1)for i in range(num)]
  24. In[3] used 0.2305MiB RAM in0.12s, peaked 0.00MiB above current, total RAM usage 15.80MiB
  26. In[4]:from slots import*
  27. In[4] used 9.3008MiB RAM in0.72s, peaked 0.00MiB above current, total RAM usage 25.10MiB
  29. In[5]:%cat noslots.py
  30. classMyClass(object):
  31. def __init__(self, name, identifier):
  32.                 self.name = name
  33.                 self.identifier = identifier
  35. num =1024*256
  36. x =[MyClass(1,1)for i in range(num)]
  37. In[5] used 0.1758MiB RAM in0.12s, peaked 0.00MiB above current, total RAM usage 25.28MiB
  39. In[6]:from noslots import*
  40. In[6] used 22.6680MiB RAM in0.80s, peaked 0.00MiB above current, total RAM usage 47.95MiB