1. 程式人生 > >csv模塊的使用

csv模塊的使用

watermark 處理 分隔符 str 很多 list ras val fontsize

1、csv簡介

CSV (Comma Separated Values),即逗號分隔值(也稱字符分隔值,因為分隔符可以不是逗號),是一種常用的文本

格式,用以存儲表格數據,包括數字或者字符。很多程序在處理數據時都會碰到csv這種格式的文件,它的使用是比

較廣泛的(Kaggle上一些題目提供的數據就是csv格式),csv雖然使用廣泛,但卻沒有通用的標準,所以在處理csv

格式時常常會碰到麻煩,幸好python內置了csv模塊。下面簡單介紹csv模塊中最常用的一些函數。


更多內容請參考:https://docs.python.org/2/library/csv.html#module-csv


2、csv模塊中的函數

  • reader(csvfile, dialect=‘excel‘, **fmtparams)
參數說明:
csvfile,必須是支持叠代(Iterator)的對象,可以是文件(file)對象或者列表(list)對象,如果是文件對 象,打開時需要加"b"標誌參數。

dialect,編碼風格,默認為excel的風格,也就是用逗號(,)分隔,dialect方式也支持自定義,通過調用register_dialect方法來註冊,下文會提到。

fmtparam,格式化參數,用來覆蓋之前dialect對象指定的編碼風格。
    import csv  
    with open(test.csv,rb) as myFile:  
        lines=csv.reader(myFile)  
        for line in lines:  
            print line  

‘test.csv‘是文件名,‘rb’中的r表示“讀”模式,因為是文件對象,所以加‘b’。open()返回了一個文件對象

myFile,reader(myFile)只傳入了第一個參數,另外兩個參數采用缺省值,即以excel風格讀入。reader()返回一個

reader對象lines,lines是一個list,當調用它的方法lines.next()時,會返回一個string。上面程序的效果是將csv

文件中的文本按行打印,每一行的元素都是以逗號分隔符‘,‘分隔得來。


在我的test.csv文件中,存儲的數據如圖:

技術分享

程序輸出:

[1, 2]
[3, a]
[4, b]

補充:reader對象還提供一些方法:line_num、dialect、next()

  • writer(csvfile, dialect=‘excel‘, **fmtparams)

參數的意義同上,這裏不贅述,直接上例程:

    with open(t.csv,wb) as myFile:      
        myWriter=csv.writer(myFile)  
        myWriter.writerow([7,g])  
        myWriter.writerow([8,h])  
        myList=[[1,2,3],[4,5,6]]  
        myWriter.writerows(myList)  

‘w‘表示寫模式。

首先open()函數打開當前路徑下的名字為‘t.csv‘的文件,如果不存在這個文件,則創建它,返回myFile文件對象。

csv.writer(myFile)返回writer對象myWriter。

writerow()方法是一行一行寫入,writerows方法是一次寫入多行。

註意:如果文件‘t.csv‘事先存在,調用writer函數會先清空原文件中的文本,再執行writerow/writerows方法。

補充:除了writerow、writerows,writer對象還提供了其他一些方法:writeheader、dialect

  • register_dialect(name, [dialect, ]**fmtparams)

這個函數是用來自定義dialect的。

參數說明:

name,你所自定義的dialect的名字,比如默認的是‘excel‘,你可以定義成‘mydialect‘

[dialect, ]**fmtparams,dialect格式參數,有delimiter(分隔符,默認的就是逗號)、quotechar、

quoting等等,可以參考Dialects and Formatting Parameters

    csv.register_dialect(mydialect,delimiter=|, quoting=csv.QUOTE_ALL)  

上面一行程序自定義了一個命名為mydialect的dialect,參數只設置了delimiter和quoting這兩個,其他的仍然采用

默認值,其中以‘|‘為分隔符。接下來我們就可以像使用‘excel‘一樣來使用‘mydialect‘了。我們來看看效果:


在我test.csv中存儲如下數據:

技術分享

以‘mydialect‘風格打印:

    with open(test.csv,rb) as myFile:  
        lines=csv.reader(myFile,mydialect)  
        print lines.line_num  
        for line in lines:  
            print line  

輸出:

[1,2, 3]
[4,5, 6]

可以看到,現在是以‘|‘為分隔符,1和2合成了一個字符串(因為1和2之間的分隔符是逗號,而mydialect風格的分隔

符是‘|‘),3單獨一個字符串。

對於writer()函數,同樣可以傳入mydialect作為參數,這裏不贅述。

  • unregister_dialect(name)

這個函數用於註銷自定義的dialect


此外,csv模塊還提供get_dialect(name)、list_dialects()、field_size_limit([new_limit])等函數,這些都比較

簡單,可以自己試試。比如list_dialects()函數會列出當前csv模塊裏所有的dialect:

    print csv.list_dialects()  

輸出:

[excel-tab, excel, mydialect]

‘mydialect‘是自定義的,‘excel-tab‘, ‘excel‘都是自帶的dialect,其中‘excel-tab‘跟‘excel‘差不多,

只不過以tab為分隔符。


csv模塊還定義了

一些類:DictReader、DictWriter、Dialect等,DictReader和DictWriter類似於reader和writer。

一些常量:QUOTE_ALL、QUOTE_MINIMAL、.QUOTE_NONNUMERIC等,這些常量可以作為Dialects and Formatting Parameters的值。

csv文件格式是一種通用的電子表格和數據庫導入導出格式。最近我調用RPC處理服務器數據時,經常需要將數據做個存檔便使用了這一方便的格式。

Python csv模塊封裝了常用的功能,使用的簡單例子如下:

# 讀取csv文件
import csv
with open(some.csv, rb) as f:        # 采用b的方式處理可以省去很多問題
    reader = csv.reader(f)
    for row in reader:
        # do something with row, such as row[0],row[1]


import csv
with open(some.csv, wb) as f:      # 采用b的方式處理可以省去很多問題
    writer = csv.writer(f)
    writer.writerows(someiterable)

默認的情況下, 讀和寫使用逗號做分隔符(delimiter),用雙引號作為引用符(quotechar),當遇到特殊情況是,可以根據需要手動指定字符, 例如:

import csv
with open(passwd, rb) as f:
    reader = csv.reader(f, delimiter=:, quoting=csv.QUOTE_NONE)
    for row in reader:
        print row

上述示例指定冒號作為分隔符,並且指定quote方式為不引用。這意味著讀的時候都認為內容是不被默認引用符(")包圍的。quoting的可選項為: QUOTE_ALL, QUOTE_MINIMAL, QUOTE_NONNUMERIC, QUOTE_NONE.

有點需要註意的是,當用writer寫數據時, None 會被寫成空字符串,浮點類型會被調用 repr() 方法轉化成字符串。所以非字符串類型的數據會被 str() 成字符串存儲。所以當涉及到unicode字符串時,可以自己手動編碼後存儲或者使用csv提供的 UnicodeWriter, 具體可參見這裏。

字典方式地讀寫

csv還提供了一種類似於字典方式的讀寫,方式如下:

格式如下:

class csv.DictReader(csvfile, fieldnames=None, restkey=None, restval=None, dialect=excel, *args, **kwds)

class csv.DictWriter(csvfile, fieldnames, restval=‘‘, extrasaction=raise, dialect=excel, *args, **kwds)

其中fieldnames指定字典的key值,如果reader裏沒有指定那麽默認第一行的元素,在writer裏一定要指定這個。

使用示例

#
>>> import csv
>>> with open(names.csv) as csvfile:
...     reader = csv.DictReader(csvfile)
...     for row in reader:
...         print(row[first_name], row[last_name])
...
Baked Beans
Lovely Spam
Wonderful Spam

#

import csv
with open(names.csv, w) as csvfile:
    fieldnames = [first_name, last_name]
    writer = csv.DictWriter(csvfile, fieldnames=fieldnames)

    writer.writeheader()
    writer.writerow({first_name: Baked, last_name: Beans})
    writer.writerow({first_name: Lovely, last_name: Spam})
    writer.writerow({first_name: Wonderful, last_name: Spam})

其它

csv模塊還涉及了其它的概念,比如 Dialects, 還提供了供錯誤處理的 exception csv.Error 等,因為實際使用較少及就不累贅在此。更多參考官方文檔。

csv模塊的使用