python爬蟲25 | 爬取下來的數據怎麽保存？ CSV 了解一下
大家好
我是小帥b
是一個練習時長兩年半的練習生
喜歡
唱！
跳！
rap！
籃球！
敲代碼！
裝逼！
不好意思
我又走錯片場了
接下來的幾篇文章
小帥b將告訴你
如何將你爬取到的數據保存下來
有文本文件、redis、數據庫（MySQL、MangoDB）等的存儲方式
今天先說說
CSV
什麽是 CSV？
怎麽玩？
牛逼麽？
那麽接下來就是
學習 python 的正確姿勢
CSV 是一個文本文件來的
有點像 excel
也就是它是以一定的表格的格式來展示數據的
我們通常會使用逗號（,）來對每一個單元數據進行分割
分隔符不止是逗號
也可以是制表符（tab）、冒號（:）、分號（；）
比如我們要來表示一個表格中的數據
就可以這樣
第1列的名稱,第2列的名稱,第3列的名稱第1行第1格的數據,第1行第2格的數據,第1行第3格的數據第2行第1格的數據,第2行第2格的數據,第2行第3格的數據...
這就是 CSV 的格式
有啥好處呢
說 3 點足以
它支持存儲比較大量的數據
我們可以非常方便地利用它進行數據的導入或者導出到電子表格或者數據庫
所有支持文本文件的輸入輸出的編程語言（比如我們的 python），都可以直接操作使用 CSV 文件。
恩
了解什麽是 CSV 之後
接下來小帥b會告訴你怎麽使用 python 去存儲數據到 CSV 文件中
代碼走起
我們導入 CSV 這個庫
通過 csv.DictWriter 獲取 writer 對象
然後就可以寫入了
具體看下代碼
import csvwith open(‘xiaoshuaib.csv‘, mode=‘w‘) as csv_file:fieldnames = [‘你是誰‘, ‘你幾歲‘, ‘你多高‘]writer = csv.DictWriter(csv_file, fieldnames=fieldnames)writer.writeheader()writer.writerow({‘你是誰‘: ‘小帥b‘, ‘你幾歲‘: ‘18歲‘, ‘你多高‘: ‘18cm‘})writer.writerow({‘你是誰‘: ‘小帥c‘, ‘你幾歲‘: ‘19歲‘, ‘你多高‘: ‘17cm‘})writer.writerow({‘你是誰‘: ‘小帥d‘, ‘你幾歲‘: ‘20歲‘, ‘你多高‘: ‘16cm‘})
我們這裏以字典的方式寫入數據到 xiaoshuaib.csv 這個文件中
運行之後
可以看到多了一個文件
打開看看
可以看到
我們的數據就被寫進來了
說：是高還是長？
再給大家介紹一個庫
pandas
它可以更加方便的操作 CSV 文件
我們先安裝一下 pandas
pip install pandas
安裝完之後
我們用 pandas 來讀取一下我們剛存儲的 xiaoshuaib.cvs 文件
import pandasxiaoshuaib = pandas.read_csv(‘xiaoshuaib.csv‘)print(xiaoshuaib)
打印結果是這樣的
是不是又方便又好看呢
用 pandas 來存儲 CSV 數據也是很簡單的
一個方法就搞定
to_csv
import pandas as pdb = [‘小帥b‘, ‘小帥c‘, ‘小帥d‘]c = [‘18歲‘, ‘19歲‘, ‘20歲‘]d = [‘18cm‘, ‘17cm‘, ‘16cm‘]df = pd.DataFrame({‘你是誰‘ : b, ‘你幾歲‘ : c, ‘你多高‘ : d})df.to_csv("xsb.csv", index=False, sep=‘,‘)
運行一下
ok
以上就是對 CSV 的主要操作
當你把數據爬取下來的時候
可以使用這招試試把數據存儲下來
好了
那麽我們下篇再見
peace
猜你喜歡
python爬蟲24 | 搞事情了，用 Appium 爬取你的微信朋友圈。
python爬蟲21 | 對於b站這樣的滑動驗證碼，不好意思，照樣自動識別
點個在看啊~~（破音）
python爬蟲25 | 爬取下來的數據怎麽保存？ CSV 了解一下