10278
Комментарий:
|
10220
|
Удаления помечены так. | Добавления помечены так. |
Строка 238: | Строка 238: |
CP1252 ISO8859-1 koi8-r CP1251 CP1251 ISO8859-5 CP866 koi8-r |
TODO |
Работа с файлами
(Долг за прошлую лекцию — дескрипторы)
Оператор with
Заранее задать finally (например, закрыть открытый файл, даже если были исключения)
протокол контекстного менеждера
.__enter__() / .__exit__(exc_type, exc_val, exc_tb)
- →
>>> Working <class 'SyntaxError'> WTF? <traceback object at 0x7efe7082cd80> <<< Done
Обратите внимание на то, что третья строка (сообщение о необработанном исключении) может, формально говоря, появиться в любом месте после вывода «Working», потому что выводится на stderr, а все остальные сообщения — на stdout
Далее см. contextlib.html
Просто файлы
open(), r/w/a и т. п.
.read()/.write()/.readline()
файл как итератор, .readlines()
.seek(),.tell()
- текстовые и двоичные
повтор: str, bytes и bytearray
b/t
файл и with, зачем нужно
бНОПНЯ
- Понятие кодировки. Unicode, UTF* и прочее
Кодировка: соответствие некоторого числа конкретному символу (например, описанному в Unicode)
- Тысячи их
UTF-8: то ли один байт, то ли два
- Однобайтные кодировки: без указания кодировки нельзя понять, что написано
1 >>> txt = "Вопрос" 2 >>> print(*map(hex, map(ord, txt))) 3 0x412 0x43e 0x43f 0x440 0x43e 0x441 4 >>> txt.encode() 5 b'\xd0\x92\xd0\xbe\xd0\xbf\xd1\x80\xd0\xbe\xd1\x81' 6 >>> sys.getdefaultencoding() 7 'utf-8' 8 >>> txt.encode('utf-8') 9 b'\xd0\x92\xd0\xbe\xd0\xbf\xd1\x80\xd0\xbe\xd1\x81' 10 >>> txt.encode('WINDOWS-1251') 11 b'\xc2\xee\xef\xf0\xee\xf1' 12 >>> txt.encode('KOI8-R') 13 b'\xf7\xcf\xd0\xd2\xcf\xd3' 14 >>> txt.encode('WINDOWS-1251').decode('KOI8-R') 15 'бНОПНЯ' 16
- Представление строк внутри Python: т. н. «питоний unicode» (двухбайтовый)
- Если в строке нет ни одного не-ASCII символа, она хранится побайтово, но это абсолютно прозрачно, кроме размера:
Типизированные файлы
- объекты: чтение и запись объектов Python
pickle.dumps(obj) / pickle.dump(obj, file)
pickle.loads(bytes_object) / pickle.load(file)
1 >>> import pickle 2 >>> pickle.dumps(0x14131211) 3 b'\x80\x04\x95\x06\x00\x00\x00\x00\x00\x00\x00J\x11\x12\x13\x14.' 4 >>> pickle.dumps(0x14131211)[-5:] 5 b'\x11\x12\x13\x14.' 6 >>> du = pickle.dumps(123.123e20) 7 >>> du 8 b'\x80\x04\x95\n\x00\x00\x00\x00\x00\x00\x00GD\x84\xdb\x9b\xe5\x05\x1cP.' 9 >>> ud = pickle.loads(du) 10 >>> ud 11 1.23123e+22 12 >>> F = open("serialized", "bw") 13 >>> pickle.dump(100500, F) 14 >>> pickle.dump([1, "WER", None], F) 15 >>> pickle.dump(b"QWWER", F) 16 >>> F.close() 17 >>> F = open("serialized", "br") 18 >>> pickle.load(F) 19 100500 20 >>> pickle.load(F) 21 [1, 'WER', None] 22 >>> pickle.load(F) 23 b'QWWER' 24 >>> class C: 25 ... A = 3 26 ... 27 >>> c = C() 28 >>> du = pickle.dumps(c) 29 >>> ud = pickle.loads(du) 30 >>> ud 31 <__main__.C object at 0x7f0e60c502b0> 32 >>> ud.A 33 3 34 >>> ud = pickle.loads(du) 35 Traceback (most recent call last): 36 File "<stdin>", line 1, in <module> 37 AttributeError: Can't get attribute 'C' on <module '__main__' (<_frozen_importlib_external.SourceFileLoader object at 0x7f0e60c8bac0>)> 38 >>> class C: 39 ... E = 100500 40 ... 41 >>> ud = pickle.loads(du) 42 >>> ud 43 <__main__.C object at 0x7f0e60b50b20> 44 >>> ud.A 45 Traceback (most recent call last): 46 File "<stdin>", line 1, in <module> 47 AttributeError: 'C' object has no attribute 'A' 48 >>> ud.E 49 100500 50
небезопасно
- структуры типа Си:
- последовательность байтов
Пример: заголовок PNG
1 import struct 2 import zlib 3 import sys 4 5 HEADER = "8B" 6 CHUNK = "!I4s" 7 CRC = "!I" 8 IHDR = "!IIBBBBB" 9 10 def readpack(fmt, fle): 11 return struct.unpack(fmt, fle.read(struct.calcsize(fmt))) 12 13 payload = b'' 14 with open(sys.argv[1], "br") as f: 15 png = readpack(HEADER, f) 16 print(*map(hex, png)) 17 while (chunk := readpack(CHUNK, f))[1] != b"IEND": 18 print(*chunk) 19 data = f.read(chunk[0]) 20 crc = readpack(CRC, f) 21 if chunk[1] == b"IHDR": 22 w, h, bpp, col, comp, filt, i = struct.unpack(IHDR, data) 23 print(f"{w}×{h}, {bpp=}, {col=}, {comp=}, {filt=}, {i=}") 24 elif chunk[1] == b"IDAT": 25 payload += data 26 27 print(len(payload), w, h, w*h) 28 payload = zlib.decompress(payload) 29 print(len(payload), w, h, w*h)
- базы данных
- Идея: интерфейс словаря (ключ:значение) + быстрый поиск под капотом
1 >>> import dbm 2 >>> F = dbm.open("data.db", "c") 3 >>> F["qwe"] = "rty" 4 >>> F["asd"] = "zxcv" 5 >>> F["qerw"] = "werw" 6 >>> F["123"] = "123" 7 >>> 8 >>> F["asd"] 9 b'zxcv' 10 >>> F[b"asd"] 11 b'zxcv' 12 >>> F["Ы"] = "Ы" 13 >>> F["Ы"] 14 b'\xd0\xab' 15 >>> F.close() 16 >>> F = dbm.open("data.db", "r") 17 >>> F["qerw"] 18 b'werw' 19 >>> k = F.firstkey() 20 >>> k 21 b'\xd0\xab' 22 >>> while k: 23 ... print(F[k]) 24 ... k = F.nextkey(k) 25 ... 26 b'\xd0\xab' 27 b'rty' 28 b'zxcv' 29 b'werw' 30 b'123' 31
- Файлы с известной структурой
- Тысячи их, часть поддерживают файловый протокол, часть — нет
Д/З
Прощёлкать примеры с файлами в Tutorial, а также примеры по pickle и struct
<<EJCMC(148, TotalBnopnya, Неудачная перекодировка)>> Текст процедуры на языке Рапира в кодировке koi8-r был несколько раз перекодирован, причём перекодировщику сообщали совершенно произвольную исходную и целевую кодировку (например, из CP866 в latin1). Восстановить предполагаемый текст процедуры и последовательность перекодировки.
- В первой строке ввода — возможные кодировки, не более 8 (через пробел)
- Во второй строке ввода — последовательность шестнадцатеричных цифр — это байты закодированной процедуры
- На выходе — пары кодировок в столбик, с помощью которых происходило кодирование (из какой в какую; соответственно, если перекодировать в обратном направлении и порядке, получится исходная процедура)
- Всего таких пар не больше четырёх (может быть 0, если процедура не перекодирована)
utf8 koi8-r CP1251 CP866 CP1252 ISO8859-1 ISO8859-5 MACCYRILLIC 8384acaf20898890848828293b0a2020202092b892ac873a2022a78784909289889286b52c20aea68421223b0aa1adaf3b0a
- Подсказка — в Википедии ☺
Важное замечание. Все буквы в исходной процедуре — заглавные, (на самом деле исходная кодировка была КОИ-7, но я решил упростить задание, а в итоге чуть было не усложнил его).
TODO
<<EJCMC(148, ZipInfo, Размер архива)>> Написать программу, которой на stdin подаётся zip-архив в виде шестнадцатеричного дампа (последовательность шестнадцатеричных цифр, возможно, разделённых пробелами и переводами строки), а на выходе она показывает количество и суммарный объём хранящихся в нём файлов, если их распаковать.
Внимание! в отличие от всех предыдущих задач, никакой пустой строки в конце нет, пользуйтесь файловыми операциями ввода!
- Есть минимум два принципиально разных способа решить эту задачу