Differences between revisions 6 and 8 (spanning 2 versions)
Revision 6 as of 2020-12-01 18:34:21
Size: 12459
Editor: FrBrGeorge
Comment:
Revision 8 as of 2020-12-01 18:39:14
Size: 12528
Editor: FrBrGeorge
Comment:
Deletions are marked like this. Additions are marked like this.
Line 180: Line 180:
Found 3 errors in 1 file (checked 1 source file)  Found 3 errors in 1 file (checked 1 source file)
Line 212: Line 212:
 * Сравнение производительности:
 {{{#!console
$ mypyc speed.py 
Сравнение производительности:
{{{#!highlight console
$ mypyc speed.py
Line 221: Line 221:
$ ls
build ex1.py __pycache__ speed.cpython-38.so speed_.py
Line 224: Line 226:
$ python3 -c "import speed; print(speed.test())"  $ python3 -c "import speed; print(speed.test())"

Метаклассы и аннотации

Это две совсем разные темы, если что).

Метаклассы

Хороший пример real-life кода на Python, эксплуатирующий метаклассы и многое другое:

Итак.

  • Класс можно создать просто функцией (aka Monkey patch)

  • Декоратором
  • От класса можно унаследоваться и всё модифицировать в потомке
    • TODO but why then?

  • Создание класса с помощью type(name, bases, dict)

       1 class C:
       2     pass
    
    • это вырожденный вызов type("имя", (кортеж родителей), {пространство имён})

       1 C = type("C", (), {})
    
  • Например,
       1 C = type('Simple', (), {'val': 42, 'getval': lambda self: self.val})
       2 c = C()
       3 c.val, c.getval()
    
  • Но type — это просто класс такой ⇒ от него можно унаследоваться, например, перебить ему __init__():

       1 class overtype(type):
       2     def __init__(self, Name, Parents, Dict):
       3         print(f" Class definition: {Name}{Parents}: {Dict}")
       4         super().__init__(Name, Parents, Dict)
       5 
       6 Boo = overtype("Boo", (), {"A": 100500})
       7 t = Boo()
       8 print(Boo, t, t.A)
    
  • а вот это Boo = overtype… можно записать так:

       1 
       2 class Boo(metaclass=overtype):
       3     A = 100500
    
  • (по сути, class C: — это class C(metaclass=type):)

Подробности:

  • __call__() → (__prepare__() для автоматического создания пространства имён, если есть), __new__(), __init__()

  • __new__()

    • создаёт экземпляр объекта (а __init__() заполняет готовый)

    • это метод класса (такой @classmethod без декоратора)

    • в нём можно поменять всё, что в __init__() приезжает готовое и read-only: __slots__, имя класса (если это метакласс) и т. п.

Два примера:

  • Ненаследуемый класс
       1 class final(type):
       2     def __new__(metacls, name, parents, namespace):
       3         for cls in parents:
       4             if isinstance(cls, final):
       5                 raise TypeError(f"{cls.__name__} is final")
       6         return super(final, metacls).__new__(metacls, name, parents, namespace)
       7 class E(metaclass=final): pass
       8 class C: pass
       9 class A(C, E): pass
    
  • Синглтон (больше синглтонов тут)

       1 class Singleton(type):
       2     _instance = None
       3     def __call__(cls, *args, **kw):
       4         if cls._instance is None:
       5              cls._instance = super(Singleton, cls).__call__(*args, **kw)
       6         return cls._instance
       7 
       8 class S(metaclass=Singleton):
       9     A = 3
      10 s, t = S(), S()
      11 s.newfield = 100500
      12 print(f"{s.newfield=}, {t.newfield=}")
      13 print(f"{s is t=}")
    
  • Модуль types

Аннотации

Duck typing:

  • Экономия кода на описаниях и объявлениях типа
  • Экономия (несравненно бо́льшая) кода на всех этих ваших полиморфизмах
  • ⇒ Компактный читаемый код, хорошее отношение семантика/синтаксис
  • ⇒ Быстрое решение Д/З ☺

Однако:

  • Практически все ошибки — runtime
  • Много страданий от невнимательности (передал объект не того типа, и не заметил, пока не свалилось)
    • Вашей невнимательности не поможет даже хитрое IDE: оно тоже не знает о том, какого типа объекты правильные, какого — нет

    • (соответственно, о полях вашего объекта тоже)
  • Часть прагматики растворяется в коде (например, вы написали строковую функцию, как об этом узнать?)

  • Большие и сильно разрозненные проекты — ?

Поэтому нужны указания о типе полей классов, параметрах и возвращаемых значений функций/методов и т. п. — Аннотации

  • Пример аннотаций полей, параметров и возвращаемых значений
       1 class C:
       2     A: int = 2
       3     def __init__(self, param: int = None, signed: bool = True):
       4         if param != None:
       5             self.A = param if signed else abs(param)
       6 
       7     def mult(self, mlt) -> str:
       8         return self.A * mlt
       9 
      10 a, b = C(3), C("QWE")
      11 print(f"{a.mult([2])=}, {b.mult(2)=}")
      12 print(f"{a.__annotations__=}")
      13 print(f"{a.mult.__annotations__=}")
      14 print(f"{C.__init__.__annotations__}")
    
  • Аннотации сами по себе не влияют на семантику функции
  • Типы в аннотациях — это настоящие типы

  • Про аннотацию переменных на DZone (перевод на tproger)

Составные и нечёткие типы

Python 3.9 с нами :)

Просто прочитаем What’s New In Python 3.9

Модуль typing

  • Алиасы (практически typedef), Any, NewType (категоризация), Callable

  • Дженерики и collections.abc

  • Инструменты: NoReturn, Union, Optional, Type (если сама переменная — класс), Literal, Final, …

Отложенная аннотация: pep-0563

Важно: в Python есть поддержка аннотаций, но практически нет их использования (разве что в dataclasses). В язык не входит, делайте сами.

MyPy

Зачем аннотации?

  • Дисциплина программирования
    • большие, сверхбольшие и «долгие» проекты
  • Потенциально возможные проверки

  • Прагматика, включенная в синтаксис языка
  • Преобразование Python-кода в представления, требующие статической типизации

http://www.mypy-lang.org: статическая типизация в Python (ну, почти… или совсем!)

  • Описание типов переменных, параметров и т. п.-

  • Проверка выражений с типизированными данными
    • В т. .ч не-проверка нетипизиварованных

  • Пример:
       1 def fun(a: int, b) -> str:
       2     b *= a
       3     return b
       4 
       5 def fun2(a: int) -> str:
       6     c: int = a + "1"
       7     return c
       8 
       9 res: str
      10 var: int
      11 res = fun(1,"qwe")
      12 res = fun(100, 200)
      13 var = fun(1,2)
    
  • Он запускается! Но проверку на статическую типизацию не проходит:
       1 $ mypy ex1.py
       2 ex1.py:6: error: Unsupported operand types for + ("int" and "str")
       3 ex1.py:7: error: Incompatible return value type (got "int", expected "str")
       4 ex1.py:13: error: Incompatible types in assignment (expression has type "str", variable has type "int")
       5 Found 3 errors in 1 file (checked 1 source file)
       6 $ mypy --strict ex1.py
       7 ex1.py:1: error: Function is missing a type annotation for one or more arguments
       8 ex1.py:3: error: Returning Any from function declared to return "str"
       9 ex1.py:6: error: Unsupported operand types for + ("int" and "str")
      10 ex1.py:7: error: Incompatible return value type (got "int", expected "str")
      11 ex1.py:13: error: Incompatible types in assignment (expression has type "str", variable has type "int")
      12 Found 5 errors in 1 file (checked 1 source file)
      13 
    
  • Компиляция. Если все объекты полностью типизированы, у них имеется эквивалент в виде соответствующих структур PythonAPI. ЧСХ, у байт-кода тоже есть эквивалент в Python API

  • Таинственный mypyc

  • Пока не рекомендуют использовать, но сами все свои модули им компилируют!

Пример для mypyc

   1 import time
   2 from typing import Tuple
   3 
   4 def fb(x:int,y:int)->Tuple[int,int]:
   5     return y,x+y
   6 
   7 def test()->float:
   8     x:int=0
   9     y:int=1
  10     t:float=time.time()
  11     for i in range(1000000):
  12         x = 0
  13         y = 1
  14         for j in range(100):
  15             x,y=fb(x,y)
  16     return time.time()-t

Сравнение производительности:

   1 $ mypyc speed.py
   2 running build_ext
   3 building 'speed' extension
   4 creating build/temp.linux-x86_64-3.8
   5 creating build/temp.linux-x86_64-3.8/build
   6 x86_64-alt-linux-gcc -pthread -Wno-unused-result -Wsign-compare -DNDEBUG -g -fwrapv -O3 -Wall -pipe -frecord-gcc-switches -Wall -g -O3 -fPIC -I/home/george/.local/lib/python3/site-packages/mypyc/lib-rt -I/usr/include/python3.8 -c build/__native.c -o build/temp.linux-x86_64-3.8/build/__native.o -O3 -Werror -Wno-unused-function -Wno-unused-label -Wno-unreachable-code -Wno-unused-variable -Wno-unused-command-line-argument -Wno-unknown-warning-option -Wno-unused-but-set-variable
   7 x86_64-alt-linux-gcc -pthread -shared build/temp.linux-x86_64-3.8/build/__native.o -L/usr/lib64 -o /home/george/src/mypyex/speed.cpython-38.so
   8 $ ls
   9 build  ex1.py  __pycache__  speed.cpython-38.so  speed_.py
  10 $ mv speed.py speed_.py
  11 $ python3 -c "import speed_; print(speed_.test())"
  12 12.719617366790771
  13 $ python3 -c "import speed; print(speed.test())"
  14 2.643144130706787
  15 

Д/З

TODO

LecturesCMC/PythonIntro2020/13_MetaclassAnnotations (last edited 2020-12-06 15:50:33 by FrBrGeorge)