檔案的基本讀寫

path = r'C:\Users\Brady\Documents\tmp'
with open(path + r'\demo.txt', 'r', encoding='utf-8') as f:
    content = f.read()
print(content)

open()函式

open(file, mode='r', buffering=-1, encoding=None, errors=None, newline=None, closefd=True, opener=None) Open file and return a corresponding file object. If the file cannot be opened, an OSError is raised.

open函式用於開啟一個檔案,並返回檔案控制代碼.

檔案開啟的mode主要有以下幾種方式:

這裡關於newline做一個解釋. newline是換行符,windows系統的換行符和類unix系統的換行符是不一樣的. windows預設使用\r\n做為換行符. 而類unix系統使用\n作為換行符.

關於換行符的使用,文件給出瞭如下解釋:

• 如果newline為None,則\r \n \r\n都會被識別為換行符,並統一翻譯為\n.
• 如果newline為'',則直接返回原始檔中的換行符

關於換行符\r\n 和\n 的歷史要追溯到計算機出現之前的電傳印表機. \r的意思代表回車,也就是列印頭回到初始位置. \n的意思表示換行,也就是紙張往上卷一行. 在windows中保留了這種老傳統. 真正的換行符需要\r\n 而類unix中則選擇使用\n作為換行符

write()函式

with open(path+r'\demo2.txt','w',encoding='utf-8') as f:
    content = 'this is a demo for write function'
    res=f.write(content)

print(res)
 

file對應的方法

• file.close(): 關閉檔案
• file.flush():講緩衝區的內容立即寫入檔案
• file.readline():讀取整行
• file.readlines():按行讀取,並返回列表.可以設定讀取的位元組數
• file.seek()設定遊標位置
• file.tell()顯式當前遊標位置
• file.truncate()擷取檔案

目錄相關操作

獲取目錄列表

with os.scandir(path2) as entries:
    for item in entries:
        print(item.name)

scandir()返回的是一個生成器.

同樣也可以使用pathlib庫.

enties = Path(path2)
for entry in enties.iterdir():
    print(entry.name)

獲取目錄下的檔案

for entry in os.listdir(basepath):
    if os.path.isfile(os.path.join(basepath,entry)):
        print(entry)

with os.scandir(basepath) as entries:
    for entry in entries:
        if entry.is_file():
            print(entry.name)


base_path = Path(basepath)
for entry in base_path.iterdir():
    if entry.is_file():
        print(entry.name)

base_path = Path(basepath)
files_in_basepath = (entry for entry in base_path.iterdir() if entry.is_file())
for item in files_in_basepath:
    print(item.name)

以上四種辦法都可以.

獲取子目錄

for entry in os.listdir(basepath):
    if os.path.isdir(os.path.join(basepath,entry)):
        print(entry)

with os.scandir(basepath) as entries:
    for entry in entries:
        if entry.is_dir():
            print(entry.name)

base_path = Path(basepath)

for entry in base_path.iterdir():
    if entry.is_dir():
        print(entry.name)

獲取檔案屬性

with os.scandir(basepath) as entries:
    for entry in entries:
        info = entry.stat()
        print(entry.name,timestamp2datetime(info.st_mtime))

base_path = Path(basepath)

for entry in base_path.iterdir():
    info = entry.stat()
    print(entry.name,timestamp2datetime(info.st_mtime))

os.scandir()返回一個os.dirEntry物件. os.dirEntry物件大概有以下屬性和方法:

• name:檔案(目錄)名
• path:檔案(目錄)路徑
• is_file()
• is_dir()
• stat()返回一個stat_result物件.

而stat_result物件又有N多關於檔案的屬性,比如時間戳相關的屬性:

• st_atime:最近訪問時間
• st_mtime:最近修改時間
• st_ctime:建立時間

建立目錄

在os和pathlib的模組中都包含了建立目錄的函式.

• os.mkdir() 建立單個子目錄
• os.makedirs() 建立多個目錄,包括中間目錄
• Pathlib.Path.mkdir() 建立單個或者多個目錄

建立單個目錄

os.chdir(basepath)
if not os.path.exists(os.path.join(basepath,'c')):
    os.mkdir('c')

base_path = Path(basepath+r'\d')

try:
    base_path.mkdir()
except FileExistsError :
    pass

通過os.mkdir()和Path.mkdir()都可以建立單個目錄. 如果目錄已經存在,則會報FileExistsError異常. 也可以使用exist_ok=True 引數來忽略這個異常

建立多個目錄

可以使用os.makedirs()來建立包含中間目錄在內的所有目錄,類似mkdir -p

os.makedirs('2020/3/2')

也可以使用Path.mkdir()方法來建立多層目錄.只需要指定parents=True比如

from pathlib import Path 
p = Path('2018/10/05') 
p.mkdir(parents=True, exist_ok=True)

檔名的模式匹配

使用字串方法

python有一些內建的修改和操作字串的方法,在操作檔名的時候,可以先遍歷拿到檔名,然後使用字串的方式進行匹配.

for item in os.listdir(basepath):
    if item.endswith('.txt'):
        print(item)

使用fnmatch庫

另外還可以使用fnmatch庫,fnmatch庫支援類unix的萬用字元.

import fnmatch
for item in os.listdir(basepath):
    if fnmatch.fnmatch(item,"*.txt"):
        print(item)

使用glob庫

總的來說,glob庫和fnmatch庫差不多,但是glob庫提供了遞迴功能,可以查詢目錄下子目錄的檔名. glob.glob(pathname, *, recursive=False)

另外在pathlib中也提供了類似glob的方法.

總結:

遍歷和處理檔案

os.walk(top, topdown=True, onerror=None, followlinks=False)

os.chdir(basepath)
for dirpath,dirname,files in os.walk('.'):
    print(f'found directory:{dirpath}')
    for filename in files:
        print(filename)

walk()方法返回一個三元組(dirpath,dirnames,filenames)

• dirpath:當前目錄的名稱
• dirnames:當前目錄中子目錄的列表
• 當前目錄中檔案的列表

建立臨時檔案和目錄

臨時檔案和臨時目錄就是程式執行時建立,在程式執行結束之後會自動刪除的檔案和目錄. 可以使用tempfile模組來進行操作.

from tempfile import TemporaryFile
from tempfile import TemporaryDirectory

fp = TemporaryFile('w+t')
fp.write('hello world')
fp.seek(0)
data = fp.read()
print(data)
fp.close()

with TemporaryFile('w+t',encoding='utf-8') as tf:
    tf.write('hello world')
    tf.seek(0)
    print(tf.read())

tmp=''
with TemporaryDirectory() as tmpdir:
    print("create a temp directory{0}".format(tmpdir))
    tmp = tmpdir
    print(os.path.exists(tmp))

print(os.path.exists(tmp))

臨時檔案作為一個臨時的硬碟上的快取,一般不需要命名. 但是如果需要使用帶檔名的臨時檔案時,可以使用tempfile.NamedTemporaryFile()

在windows平臺下,臨時檔案一般存放在C:/TEMP或者C:/TMP. 其他平臺上,一般存放順序為/tmp,/var/tmp,/usr/tmp 如果以上路徑都找不到的話,python會預設在當前目錄中存放臨時檔案和臨時目錄.

注意,TemporaryFile()等方法也是支援with..in這種上下文管理器的.

刪除檔案和目錄

刪除檔案

要刪除單個檔案有三種辦法:pathlib.Path.unlink() , os.remove() 還有 os.unlink()方法

這裡需要注意的是,os.remove()和os.unlink()沒有什麼區別. unlink是類unix系統中的早期叫法.

os.remove(os.path.join(basepath,'demo.txt'))
os.unlink(os.path.join(basepath,'demo2.txt'))

或者使用pathlink.Path.unlink()方法

from pathlib import Path
p = Path(basepath+r'\1-demo.txt')
p.unlink()

注意,以上方法只能刪除檔案,如果刪除的不是檔案而是目錄的話,會報IsADirectoryError異常

刪除目錄或目錄樹

三個方法:

• os.rmdir()
• pathlib.Path.rmdir()
• shutil.rmtree()

在os.rmdir()和pathlib.Path.rmdir()中,如果刪除的是非空目錄,會報OSError異常.

os.rmdir(os.path.join(basepath,'a'))
p = Path(basepath+r'\b')
p.rmdir()

如果想刪除非空目錄或者目錄樹的話,可以是用shutil.rmtree()方法

shutil.rmtree(os.path.join(basepath,'2020'))

複製,移動和重新命名檔案和目錄

這裡我們要使用到shutil模組,shutil模組提供了類似shell的一些功能.

複製檔案

import os
import shutil
src = os.path.join(basepath,'0-demo.txt')
dst = os.path.join(basepath,'c')
shutil.copy(src,dst)

這個不需要多講了,類似cp命令. 如果dst是檔案,則覆蓋原檔案,如果dst是目錄的話,則拷貝到該目錄下.

copy()方法不會複製元資料. 如果要連檔案資訊等元資料一起復制的話,則需要使用copy2()方法.

複製目錄

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')

shutil.copytree(src,dst)

這裡需要注意的是,目標目錄不能是已存在的目錄. 而且在複製的時候,不帶原目標目錄的父目錄. 說人話就是上面這段程式碼在執行的時候,只會講c目錄內的內容複製到bak目錄裡去.

移動檔案和目錄

import os
import shutil
src = os.path.join(basepath,'c')
dst = os.path.join(basepath,r'd\bak')

shutil.move(src,dst)

跟shell中的mv用法一樣一樣一樣的. 如果目的目錄存在,則會將源目錄移動到目的目錄中去. 如果目的目錄不存在,那就是源目錄的重新命名.

重新命名檔案和目錄

可是使用os模組中的rename()方法,也可以使用pathlib.Path.rename()方法.

os.chdir(basepath)
os.rename('3-demo.txt','demo3.txt')
p = Path('0-demo.txt')
p.rename('demo0.txt')

歸檔

所謂歸檔就是打包. 最常見的兩種打包方式就是zip和tar.(嗯...不要說rar...)

讀取zip檔案

python提供了zipfile的內建模組用來處理zip檔案.

import os
import zipfile

os.chdir(basepath)

with zipfile.ZipFile('d.zip','r') as zf:
    filelist=zf.namelist()
    bar_file_info = zf.getinfo('d/bak/0-demo.txt')
    print(type(bar_file_info))
    print(bar_file_info.file_size)
    print(filelist)

提取zip檔案

通過zipfile.extract()和zipfile.extractall()可以從zip檔案中提取一個或多個檔案.

with zipfile.ZipFile('d.zip','r') as zipobj:
    zipobj.extract('d/bak/0-demo.txt')    
    zipobj.extractall(path=r'./zip/')

建立新的zip檔案

直接使用write()方法就可以了.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)

with zipfile.ZipFile('demo.zip','w') as zipobj:
    for txt_file in file_list:
        zipobj.write(txt_file)

tarfile庫的操作

tar檔案在linux中比較常用,可以使用gzip,bzip2和lzma等壓縮方法進行壓縮. python同樣內建了tarfile庫用於處理tar檔案.

file_list = []
for item in os.listdir():
    if fnmatch.fnmatch(item,'*-demo.txt'):
        file_list.append(item)
# 建立一個tar包
with tarfile.open('demo.tar.gz',mode='w:gz') as tf:
    for file_name in file_list:
        tf.add(file_name)
# 讀取tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    for member in tf.getmembers():
        print(member.name)
# 解壓縮tar包
with tarfile.open('demo.tar.gz',mode='r:gz') as tf:
    tf.extract('2-demo.txt',path=r'./d/demo')
    tf.extractall(path=r'./d/extractall')

關於開啟模式的解釋,懶得翻譯了.

shutil庫建立存檔

shutil庫的make_archive()方法同樣可以建立歸檔. shutil.make_archive(base_name, format[, root_dir[, base_dir[, verbose[, dry_run[, owner[, group[, logger]]]]]]])

shutil.unpack_archive(filename[, extract_dir[, format]])

shutil.make_archive(r'.\d\backup','tar',r'.\d')
shutil.unpack_archive(r'.\d\backup.tar')