本文分为如下部分
- 引言——用@property批量使用的例子来引出描述器的功能
- 描述器的基本理论及简单实例
- 描述器的调用机制
- 描述器的细节
- 实例方法、静态方法和类方法的描述器原理
- property装饰器的原理
- 描述器的应用
- 参考资料
引言
前面python面向对象的文章中我们讲到过,我们可以用@property装饰器将方法包装成属性,这样的属性,相比于其他属性有一个优点就是可以在对属性赋值时,进行变量检查,举例代码如下、
class A:def __init__(self, name, score):
self.name = name # 普通属性
self._score = score
@property
def score(self):
return self._score
@score.setter
def score(self, value):
print('setting score here')
if isinstance(value, int):
self._score = value
else:
print('please input an int')
a = A('Bob',90)
a.name # 'Bob'
a.score # 90
a.name = 1
a.name # 1 ,名字本身不应该允许赋值为数字,但是这里无法控制其赋值
a.score = 83
a.score # 83,当赋值为数值型的时候,可以顺利运行
a.score = 'bob' # please input an int
a.score # 83,赋值为字符串时,score没有被改变
当我们有很多这样的属性时,如果每一个都去使用@property,代码就会过于冗余。如下
class A:def __init__(self, name, score, age):
self.name = name # 普通属性
self._score = score
self._age = age
@property
def score(self):
return self._score
@score.setter
def score(self, value):
print('setting score here')
if isinstance(value, int):
self._score = value
else:
print('please input an int')
@property
def age(self):
return self._age
@age.setter
def age(self, value):
print('setting age here')
if isinstance(value, int):
self._age = value
else:
print('please input an int')
a = A('Bob', 90, 20)
因为每一次检验的方法都是一样的,所以最好有方法可以批量实现这件事,只写一次if isinstance。描述器就可以用来实现这件事。
为了能够更清楚地理解描述器如何实现,我们先跳开这个话题,先讲一讲描述器的基本理论。
描述器基本理论及简单实例
描述器功能强大,应用广泛,它可以控制我们访问属性、方法的行为,是@property、super、静态方法、类方法、甚至属性、实例背后的实现机制,是一种比较底层的设计,因此理解起来也会有一些困难。
定义:从描述器的创建来说,一个类中定义了__get__、__set__、__delete__中的一个或几个,这个类的实例就可以叫做一个描述器。
为了能更真切地体会描述器是什么,我们先看一个最简单的例子,这个例子不实现什么功能,只是使用了描述器
# 创建一个描述器的类,它的实例就是一个描述器# 这个类要有__get__ __set__ 这样的方法
# 这种类是当做工具使用的,不单独使用
class M:
def __init__(self, x=1):
self.x = x
def __get__(self, instance, owner):
return self.x
def __set__(self, instance, value):
self.x = value
# 调用描述器的类
class AA:
m = M() # m就是一个描述器
aa = AA()
aa.m # 1
aa.m = 2
aa.m # 2
我们分析一下上面这个例子
- 创建aa实例和普通类没什么区别,我们从aa.m开始看
- aa.m是aa实例调用了m这个类属性,然而这个类属性不是普通的值,而是一个描述器,所以我们从访问这个类属性变成了访问这个描述器
- 如果调用时得到的是一个描述器,python内部就会自动触发一套使用机制
- 访问的话自动触发描述器的__get__方法
- 修改设置的话就自动触发描述器的__set__方法
- 这里就是aa.m触发了__get__方法,得到的是self.x的值,在前面__init__中定义的为1
- aa.m = 2则触发了__set__方法,赋的值2传到value参数之中,改变了self.x的值,所以下一次aa.m调用的值也改变了
进一步思考:当访问一个属性时,我们可以不直接给一个值,而是接一个描述器,让访问和修改设置时自动调用__get__方法和__set__方法。再在__get__方法和__set__方法中进行某种处理,就可以实现更改操作属性行为的目的。这就是描述器做的事情。
相信有的读者已经想到了,开头引言部分的例子,就是用描述器这样实现的。在讲具体如何实现之前,我们要先了解更多关于描述器的调用机制
描述器的调用机制
aa.m命令其实是查找m属性的过程,程序会先到哪里找,没有的话再到哪里找,这是有一个顺序的,说明访问顺序时需要用到__dict__方法。
先看下面的代码了解一下__dict__方法
class C:x = 1
def __init__(self, y):
self.y = y
def fun(self):
print(self.y)
c = C(2)
# 实例有哪些属性
print(c.__dict__) # {'y': 2}
# 类有什么属性
print(C.__dict__) # 里面有 x fun
print(type(c).__dict__) # 和上一条一样
print(vars(c)) # __dict__ 也可以用 vars 函数替代,功能完全相同
# 调用
c.fun() # 2
c.__dict__['y'] # 2
# type(c).__dict__['fun']() # 报错,说明函数不是这么调用的
__dict__方法返回的是一个字典,类和实例都可以调用,键就是类或实例所拥有的属性、方法,可以用这个字典访问属性,但是方法就不能这样直接访问,原因我们之后再说。
下面我们来说一下,当我们调用aa.m时的访问顺序
- 程序会先查找aa.__dict__['m'] 是否存在
- 不存在再到type(aa).__dict__['m']中查找
- 然后找type(aa)的父类
- 期间找到的是普通值就输出,如果找到的是一个描述器,则调用__get__方法
下面我们来看一下__get__方法的调用机制
class M:def __init__(self):
self.x = 1
def __get__(self, instance, owner):
return self.x
def __set__(self, instance, value):
self.x = value
# 调用描述器的类
class AA:
m = M() # m就是一个描述器
n = 2
def __init__(self, score):
self.score = score
aa = AA(3)
print(aa.__dict__) # {'score': 3}
print(aa.score) # 3, 在 aa.__dict__ 中寻找,找到了score直接返回
print(aa.__dict__['score']) # 3, 上面的调用机制实际上是这样的
print(type(aa).__dict__) # 里面有n和m
print(aa.n) # 2, 在aa.__dict__中找不到n,于是到type(aa).__dict__中找到了n,并返回其值
print(type(aa).__dict__['n']) # 2, 其实是上面一条的调用机制
print(aa.m) # 1, 在aa.__dict__中找不到n,于是到type(aa).__dict__中找到了m
# m是一个描述器对象,于是调用__get__方法,将self.x的值返回,即1
print(type(aa).__dict__['m'].__get__(aa,AA)) # 1, 上面一条的调用方式是这样的
# __get__的定义中,除了self,还有instance和owner,其实分别表示的就是描述器所在的实例和类,这里的细节我们后文会讲
print('-'*20)
print(AA.m) # 1, 也是一样调用了描述器
print(AA.__dict__['m'].__get__(None, AA)) # 类相当于调用这个
此外还有特例,与描述器的种类有关
- 同时定义了__get__和__set__方法的描述器称为资料描述器
- 只定义了__get__的描述器称为非资料描述器
- 二者的区别是:当属性名和描述器名相同时,在访问这个同名属性时,如果是资料描述器就会先访问描述器,如果是非资料描述器就会先访问属性 举例如下
class M:
def __init__(self):
self.x = 1
def __get__(self, instance, owner):
print('get m here') # 打印一些信息,看这个方法何时被调用
return self.x
def __set__(self, instance, value):
print('set m here') # 打印一些信息,看这个方法何时被调用
self.x = value + 1 # 这里设置一个+1来更清楚了解调用机制
# 只有__get__是一个非资料描述器
class N:
def __init__(self):
self.x = 1
def __get__(self, instance, owner):
print('get n here') # 打印一些信息,看这个方法何时被调用
return self.x
# 调用描述器的类
class AA:
m = M() # m就是一个描述器
n = N()
def __init__(self, m, n):
self.m = m # 属性m和描述器m名字相同,调用时发生一些冲突
self.n = n # 非资料描述器的情况,与m对比
aa = AA(2,5)
print(aa.__dict__) # 只有n没有m, 因为资料描述器同名时,不会访问到属性,会直接访问描述器,所以属性里就查不到m这个属性了
print(AA.__dict__) # m和n都有
print(aa.n) # 5, 非资料描述器同名时调用的是属性,为传入的5
print(AA.n) # 1, 如果是类来访问,就调用的是描述器,返回self.x的值
print(aa.m) # 3, 其实在aa=AA(2,5)创建实例时,进行了属性赋值,其中相当于进行了aa.m=2
# 但是aa调用m时却不是常规地调用属性m,而是资料描述器m
# 所以定义实例aa时,其实触发了m的__set__方法,将2传给value,self.x变成3
# aa.m调用时也访问的是描述器,返回self.x即3的结果
# 其实看打印信息也能看出什么时候调用了__get__和__set__
aa.m = 6 # 另外对属性赋值也是调用了m的__set__方法
print(aa.m) # 7,调用__get__方法
print('-'*20)
# 在代码中显式调用__get__方法
print(AA.__dict__['n'].__get__(None, AA)) # 1
print(AA.__dict__['n'].__get__(aa, AA)) # 1
注:要想制作一个只读的资料描述器,需要同时定义 __set__ 和 __get__,并在 __set__ 中引发一个 AttributeError 异常。定义一个引发异常的 __set__ 方法就足够让一个描述器成为资料描述器。
描述器的细节
本节分为如下两个部分
- 调用描述器的原理
- __get__和__set__方法中的参数解释
1.首先是调用描述器的原理 当调用一个属性,而属性指向一个描述器时,为什么就会去调用这个描述器呢,其实这是由object.__getattribute__()方法控制的,其中object是新式类定义时默认继承的类,即py2这么写的class(object)中的object。新定义的一个类继承了object类,也就继承了__getattribute__方法。当访问一个属性比如b.x时,会自动调用这个方法 __getattribute__()的定义如下
def __getattribute__(self, key):"Emulate type_getattro() in Objects/typeobject.c"
v = object.__getattribute__(self, key)
if hasattr(v, '__get__'):
return v.__get__(None, self)
return v
上面的定义显示,如果b.x是一个描述器对象,即能找到__get__方法,则会调用这个get方法,否则就使用普通的属性。 如果在一个类中重写__getattribute__,将会改变描述器的行为,甚至将描述器这一功能关闭。
2.__get__和__set__方法中的参数解释 官网中标明了这三个方法需要传入哪些参数,还有这些方法的返回结果是什么,如下所示
descr.__get__(self, obj, type=None) --> valuedescr.__set__(self, obj, value) --> None
descr.__delete__(self, obj) --> None
我们要了解的就是self obj type value分别是什么 看下面一个例子
class M:def __init__(self, name):
self.name = name
def __get__(self, obj, type):
print('get第一个参数self: ', self.name)
print('get第二个参数obj: ', obj.age)
print('get第三个参数type: ', type.name)
def __set__(self, obj, value):
obj.__dict__[self.name] = value
class A:
name = 'Bob'
m = M('age')
def __init__(self, age):
self.age = age
a = A(20) # age是20
a.m
# get第一个参数self: age
# get第二个参数obj: 20
# get第三个参数type: Bob
a.m = 30
a.age # 30
总结如下
- self是描述器类M中的实例
- obj是调用描述器的类a中的实例
- type是调用描述器的类A
- value是对这个属性赋值时传入的值,即上面的30
上面的代码逻辑如下
- a.m访问描述器,调用__get__方法
- 三次打印分别调用了m.name a.age A.name
- a.m = 30调用了__set__方法,令a(即obj)的属性中的'age'(即M('age')这里传入的self.name)为30
实例方法、静态方法和类方法的描述器原理
本节说明访问些方法其实都访问的是描述器,并说明它们调用顺序是怎样的,以及类方法和静态方法描述器的python定义。
class B:@classmethod
def print_classname(cls):
print('Bob')
@staticmethod
def print_staticname():
print('my name is bob')
def print_name(self):
print('this name')
b = B()
b.print_classname() # 调用类方法
b.print_staticname() # 调用静态方法
b.print_name() # 调用实例方法
print(B.__dict__) # 里面有实例方法、静态方法和类方法# 但其实字典里的还不是可以直接调用的函数
print(B.__dict__['print_classname'])
print(b.print_classname) # 和上不一样
print(B.__dict__['print_staticname'])
print(b.print_staticname) # 和上不一样
print(B.__dict__['print_name'])
print(b.print_name) # 和上不一样
# <classmethod object at 0x0000024A92DA67B8>
# <bound method B.print_classname of <class '__main__.B'>>
# <staticmethod object at 0x0000024A92DA6860>
# <function B.print_staticname at 0x0000024A92D889D8>
# <function B.print_name at 0x0000024A92D88158>
# <bound method B.print_name of <__main__.B object at 0x0000024A92DA6828>>
上面结果表明,实例直接调用时,类方法和实例方法都是bound method,而静态方法是function。因为静态方法本身就是定义在类里面的函数,所以不属于方法范畴。
除此之外,由于实例直接调用后得到的结果可以直接接一个括号,当成函数来调用。而使用字典调用时,得到的结果和实例调用都不一样,所以它们是不可以直接接括号当成函数使用的。
其实从显示的结果我们可以看出,静态方法和类方法用字典调用得到的其实分别是staticmethod和classmethod两个类的对象,这两个类其实是定义描述器的类,所以用字典访问的两个方法得到的都是描述器对象。它们需要用一个__get__方法才可以在后面接括号当成函数调用。
而普通实例方法用字典调用得到的是一个function即函数,理论上是可以用括号直接调用的,但是调用时报错说少了self参数,其实它也是描述器对象,用通过__get__方法将self传入来调用
三种方法本质上调用__get__方法的情况展示如下
B.__dict__['print_classname'].__get__(None, B)()B.__dict__['print_staticname'].__get__(None, B)()
B.__dict__['print_name'].__get__(b, B)()
print(B.__dict__['print_classname'].__get__(None, B))
print(B.__dict__['print_staticname'].__get__(None, B))
print(B.__dict__['print_name'])
print(B.__dict__['print_name'].__get__(None, B)) # 这是不传入实例即self的情况,和直接从字典调用结果相同,在python2中是一个unbound method
print(B.__dict__['print_name'].__get__(b, B))
# B.print_name() # 报错,说少输入一个self参数
# B.print_name(B()) # this name 输入实例即不会报错
所以说我们平常调用的方法都是本质上在调用描述器对象,访问描述器时自动调用__get__方法。
上面调用时注意到,前两个__get__的第一个参数都是None,而实例方法是一个b,这是因为实例方法需要具体的实例来调用而不能用类直接调用。在python2中,用类直接调用实例方法得到的是一个unbound method,用实例调用才是一个bound method,(在python3删除了unbound method的概念,改为function),而类方法本身就可以被类调用,所以参数是None时就是一个bound method了。所以说__get__的第一个参数使用b可以理解成方法的bound过程。
既然三种方法都是调用了描述器对象,那么这些对象都是各自类的实例,它们的类是如何定义的呢?python中这些类的定义是用底层的C语言实现的,为了理解其工作原理,这里展示一个用python语言实现classmethod装饰器的方法,(来源),即构建能产生类方法对应描述器对象的类。
class myclassmethod(object):def __init__(self, method):
self.method = method
def __get__(self, instance, cls):
return lambda *args, **kw: self.method(cls, *args, **kw)
class Myclass:
x = 3
@myclassmethod
def method(cls, a):
print(cls.x+a)
m = Myclass()
Myclass.method(a=2)
下面我们分析一下上述代码
- 我们看到使用@myclassmethod装饰器达到的效果和使用@classmethod装饰器没有什么区别
- 首先定义了myclassmethod类,里面使用了__get__方法,所以它的实例会是一个描述器对象
- 将myclassmethod当做装饰器作用于method函数,根据装饰器的知识,相当于这样设置method=myclassmethod(method)
- 调用Myclass.method()时调用了改变后了的method方法,即myclassmethod(method)(a)
- myclassmethod(method)这是myclassmethod类的一个实例,即一个描述器,此处访问于是调用__get__方法,返回一个匿名函数
- __get__中其实是将owner(cls)部分传入method方法,因为methon在Myclass类中调用,这个owner也就是Myclass类。这一步其实是提前传入了method的第一个参数cls,后面的参数a由myclassmethod(method)(a)第二个括号调用
- 仔细分析上面的定义与调用过程,我们会发现,我们常常说的类方法第一个参数要是cls,其实是不对的,第一个参数是任意都可以,它只是占第一个位置,用于接收类实例引用类属性,随便换成任意变量都可以,用cls只是约定俗成的。比如下面的代码正常运行
x = 3
@classmethod
def method(b, a):
print(b.x+a)
m = Myclass()
Myclass.method(a=2) # 5
下面看一下staticmethod类的等价python定义(来源)
class mystaticmethod:def __init__(self, callable):
self.f = callable
def __get__(self, obj, type=None):
return self.f
class Myclass:
x = 3
@mystaticmethod
def method(a, b):
print(a + b)
m = Myclass()
m.method(a=2, b=3)
注:从源码角度来理解静态方法和类方法
- 静态方法相当于不自动传入实例对象作为方法的第一个参数,类方法相当于将默认传入的第一个参数由实例改为类
- 使用@classmethod后无论类调用还是实例调用,都会自动转入类作为第一个参数,不用手动传入就可以调用类属性,而没有@classmethod的需要手动传入类
- 既不用@classmethod也不用@staticmethod则类调用时不会自动传入参数,实例调用时自动传入实例作为第一个参数
- 所以说加@classmethod是为了更方便调用类属性,加@staticmethod是为了防止自动传入的实例的干扰
- 除此之外要说明一点:当属性和方法重名时,调用会自动访问属性,是因为这些方法调用的描述器都是非资料描述器。而当我们使用@property装饰器后,自动调用的就是新定义的get set方法,是因为@property装饰器是资料描述器
property装饰器的原理
到这里我们可以讲一讲开头提出的问题了,即@property装饰器是如何使用描述器实现的,调用机制是怎样的,如何通过描述器达到精简多次使用@property装饰器的问题。
首先要明确,property有两种调用形式,一种是用装饰器,一种是用类似函数的形式,下面会用引言中的例子分别说明两种形式的调用机制。
下面贴出property的等价python定义(来源于官网的中文翻译)
class Property(object):"Emulate PyProperty_Type() in Objects/descrobject.c"
def __init__(self, fget=None, fset=None, fdel=None, doc=None):
self.fget = fget
self.fset = fset
self.fdel = fdel
if doc is None and fget is not None:
doc = fget.__doc__
self.__doc__ = doc
def __get__(self, obj, objtype=None):
if obj is None:
return self
if self.fget is None:
raise AttributeError("unreadable attribute")
return self.fget(obj)
def __set__(self, obj, value):
if self.fset is None:
raise AttributeError("can't set attribute")
self.fset(obj, value)
def __delete__(self, obj):
if self.fdel is None:
raise AttributeError("can't delete attribute")
self.fdel(obj)
def getter(self, fget):
return type(self)(fget, self.fset, self.fdel, self.__doc__)
def setter(self, fset):
return type(self)(self.fget, fset, self.fdel, self.__doc__)
def deleter(self, fdel):
return type(self)(self.fget, self.fset, fdel, self.__doc__)
从上面的定义中我们可以看出,定义时分为两个部分,一个是__get__等方法的定义,另一部分是getter等方法的定义,同时注意到这个类要传入fget等三个函数作为属性。getter等方法的定义是为了让它可以完美地使用装饰器形式,我们先不看这一部分,先看看不是使用第一种即不使用装饰器的形式的调用机制。
# 类似函数的形式class A:
def __init__(self, name, score):
self.name = name # 普通属性
self.score = score
def getscore(self):
return self._score
def setscore(self, value):
print('setting score here')
if isinstance(value, int):
self._score = value
else:
print('please input an int')
score = property(getscore, setscore)
a = A('Bob',90)
a.name # 'Bob'
a.score # 90
a.score = 'bob' # please input an int
分析上述调用score的过程
- 初始化时即开始访问score,发现有两个选项,一个是属性,另一个是property(getscore, setscore)对象,因为后者中定义了__get__与__set__方法,因此是一个资料描述器,具有比属性更高的优先级,所以这里就访问了描述器
- 因为初始化时是对属性进行设置,所以自动调用了描述器的__set__方法
- __set__中对fset属性进行检查,这里即传入的setscore,不是None,所以调用了fset即setscore方法,这就实现了设置属性时使用自定义函数进行检查的目的
- __get__也是一样,查询score时,调用__get__方法,触发了getscore方法
下面是另一种使用property的方法
# 装饰器形式,即引言中的形式class A:
def __init__(self, name, score):
self.name = name # 普通属性
self.score = score
@property
def score(self):
print('getting score here')
return self._score
@score.setter
def score(self, value):
print('setting score here')
if isinstance(value, int):
self._score = value
else:
print('please input an int')
a = A('Bob',90)
# a.name # 'Bob'
# a.score # 90
# a.score = 'bob' # please input an int
下面进行分析
- 在第一种使用方法中,是将函数作为传入property中,所以可以想到是否可以用装饰器来封装
- get部分很简单,访问score时,加上装饰器变成访问property(score)这个描述器,这个score也作为fget参数传入__get__中指定调用时的操作
- 而set部分就不行了,于是有了setter等方法的定义
- 使用了property和setter装饰器的两个方法的命名都还是score,一般同名的方法后面的会覆盖前面的,所以调用时调用的是后面的setter装饰器处理过的score,是以如果两个装饰器定义的位置调换,将无法进行属性赋值操作。
- 而调用setter装饰器的score时,面临一个问题,装饰器score.setter是什么呢?是score的setter方法,而score是什么呢,不是下面定义的这个score,因为那个score只相当于参数传入。自动向其他位置寻找有没有现成的score,发现了一个,是property修饰过的score,这是个描述器,根据property的定义,里面确实有一个setter方法,返回的是property类传入fset后的结果,还是一个描述器,这个描述器传入了fget和fset,这就是最新的score了,以后实例只要调用或修改score,使用的都是这个描述器
- 如果还有del则装饰器中的score找到的是setter处理过的score,最新的score就会是三个函数都传入的score
- 对最新的score的调用及赋值删除都跟前面一样了
property的原理就讲到这里,从它的定义我们可以知道它其实就是将我们设置的检查等函数传入get set等方法中,让我们可以自由对属性进行操作。它是一个框架,让我们可以方便传入其他操作,当很多对象都要进行相同操作的话,重复就是难免的。如果想要避免重复,只有自己写一个类似property的框架,这个框架不是传入我们希望的操作了,而是就把这些操作放在框架里面,这个框架因为只能实现一种操作而不具有普适性,但是却能大大减少当前问题代码重复问题
下面使用描述器定义了Checkint类之后,会发现A类简洁了非常多
class Checkint:def __init__(self, name):
self.name = name
def __get__(self, instance, owner):
if instance is None:
return self
else:
return instance.__dict__[self.name]
def __set__(self, instance, value):
if isinstance(value, int):
instance.__dict__[self.name] = value
else:
print('please input an integer')
# 类似函数的形式
class A:
score = Checkint('score')
age = Checkint('age')
def __init__(self, name, score, age):
self.name = name # 普通属性
self.score = score
self.age = age
a = A('Bob', 90, 30)
a.name # 'Bob'
a.score # 90
# a.score = 'bob' # please input an int
# a.age='a' # please input an integer
描述器的应用
因为我本人也刚刚学描述器不久,对它的应用还不是非常了解,下面只列举我现在能想到的它有什么用,以后如果想到其他的再补充
- 首先是上文提到的,它是实例方法、静态方法、类方法、property的实现原理
- 当访问属性、赋值属性、删除属性,出现冗余操作,或者苦思无法找到答案时,可以求助于描述器
- 具体使用1:缓存。比如调用一个类的方法要计算比较长的时间,这个结果还会被其他方法反复使用,我们不想每次使用和这个相关的函数都要把这个方法重新运行一遍,于是可以设计出第一次计算后将结果缓存下来,以后调用都使用存下来的结果。只要使用描述器在__get__方法中,在判断语句下,obj.__dict__[self.name] = value。这样每次再调用这个方法都会从这个字典中取得值,而不是重新运行这个方法。(例子来源最后的那个例子)
参考