在Python中從生成器建立zip檔案？

Python · 發表 2018-10-15 20:47:55

摘要：我有大量的資料(幾個gig),我需要寫一個zip檔案在Python.我無法一次性將其全部載入到記憶體中以傳遞到ZipFile的.writestr方法,而我真的不想使用臨時檔案將其全部輸出到磁碟上,然後將其讀回來. 有沒有辦法將生成器或類似檔案的物件提供給ZipFile庫？還是有一...

我有大量的資料(幾個gig),我需要寫一個zip檔案在Python.我無法一次性將其全部載入到記憶體中以傳遞到ZipFile的.writestr方法,而我真的不想使用臨時檔案將其全部輸出到磁碟上,然後將其讀回來.

有沒有辦法將生成器或類似檔案的物件提供給ZipFile庫？還是有一些原因,這種能力似乎不被支援？

通過zip檔案,我的意思是zip檔案.在Python zipfile包中支援.

唯一的解決方案是重寫用於壓縮檔案以從緩衝區讀取的方法.將它新增到標準庫中將是微不足道的;我很驚訝,還沒有完成.我收集了很多協議,整個介面需要進行大修,似乎阻止了任何增量的改進.

import zipfile, zlib, binascii, struct
class BufferedZipFile(zipfile.ZipFile):
def writebuffered(self, zipinfo, buffer):
zinfo = zipinfo

zinfo.file_size = file_size = 0
zinfo.flag_bits = 0x00
zinfo.header_offset = self.fp.tell()

self._writecheck(zinfo)
self._didModify = True

zinfo.CRC = CRC = 0
zinfo.compress_size = compress_size = 0
self.fp.write(zinfo.FileHeader())
if zinfo.compress_type == zipfile.ZIP_DEFLATED:
cmpr = zlib.compressobj(zlib.Z_DEFAULT_COMPRESSION, zlib.DEFLATED, -15)
else:
cmpr = None

while True:
buf = buffer.read(1024 * 8)
if not buf:
break

file_size = file_size + len(buf)
CRC = binascii.crc32(buf, CRC) & 0xffffffff
if cmpr:
buf = cmpr.compress(buf)
compress_size = compress_size + len(buf)

self.fp.write(buf)

if cmpr:
buf = cmpr.flush()
compress_size = compress_size + len(buf)
self.fp.write(buf)
zinfo.compress_size = compress_size
else:
zinfo.compress_size = file_size

zinfo.CRC = CRC
zinfo.file_size = file_size

position = self.fp.tell()
self.fp.seek(zinfo.header_offset + 14, 0)
self.fp.write(struct.pack("<LLL", zinfo.CRC, zinfo.compress_size, zinfo.file_size))
self.fp.seek(position, 0)
self.filelist.append(zinfo)
self.NameToInfo[zinfo.filename] = zinfo

http://stackoverflow.com/questions/297345/create-a-zip-file-from-a-generator-in-python

在Python中從生成器建立zip檔案？

您可能也會喜歡…