【python】pandas庫pd.read_pickle操作讀取pickle資料與.to_pickle()永久儲存資料
之前總結了python的pickle庫的操作,儲存資料使用pickle.dump(obj, file, [,protocol]),將物件obj儲存到檔案file中去。使用pickle.load(file)從file中讀取一個字串,並將它重構為原來的python物件,反序列化出物件過程;
1、pickle.dump(obj, file, [,protocol])
In [1]: import pickle
#寫入一個檔案,用寫入二進位制的格式
In [2]: f = open('data_one.pkl','wb')
#待寫入資料
In [3]: datas = {'name':'Bruce' ,'age':25,'high':175}
#dump函式將obj資料datas匯入到file檔案f中
In [4]: data_one = pickle.dump(datas,f,-1)
#完整的f檔案操作控制代碼
In [5]: f.close()
2、pickle.load(file)
#開啟一個data_one檔案
In [8]: f = open('data_one.pkl','rb')
#可以看出開啟後是一個pkl檔案
In [12]: open('data_one.pkl','rb')
Out[12]: <_io.BufferedReader name='data_one.pkl' >
#使用load的方法將資料從pkl檔案中讀取出來
In [9]: pickle.load(f)
Out[9]: {'age': 25, 'high': 175, 'name': 'Bruce'}
In [10]: f.close()
#開啟檔案使用pickle.load後,生成的檔案後續可以一直呼叫
In [13]: f = open('data_one.pkl','rb')
In [14]: c = pickle.load(f)
In [15]: f.close()
#呼叫已經匯出來的檔案
In [16]: c
Out[16]: {'age': 25, 'high': 175, 'name' : 'Bruce'}
3、使用pandas庫進行pickle更加簡單
- 使用DataFrame的to_pickle屬性就可以生成pickle檔案對資料進行永久儲存
In [34]: import pandas as pd
In [36]: import numpy as np
In [38]: df = pd.DataFrame(np.arange(20).reshape(4,5))
In [39]: df
Out[39]:
0 1 2 3 4
0 0 1 2 3 4
1 5 6 7 8 9
2 10 11 12 13 14
3 15 16 17 18 19
#使用DataFrame的to_pickle屬性就可以生成pickle檔案對資料進行永久儲存
In [40]: df.to_pickle('foo.pkl')
- 使用pandas庫的pd.read_pickle讀取pickle資料
In [42]: pd.read_pickle('foo.pkl')
Out[42]:
0 1 2 3 4
0 0 1 2 3 4
1 5 6 7 8 9
2 10 11 12 13 14
3 15 16 17 18 19
相關推薦
【python】pandas庫pd.read_pickle操作讀取pickle資料與.to_pickle()永久儲存資料
之前總結了python的pickle庫的操作,儲存資料使用pickle.dump(obj, file, [,protocol]),將物件obj儲存到檔案file中去。使用pickle.load(file)從file中讀取一個字串,並將它重構為原來的python物
【python】pandas庫pd.read_excel操作讀取excel檔案引數整理與例項
除了使用xlrd庫或者xlwt庫進行對excel表格的操作讀與寫,而且pandas庫同樣支援excel的操作;且pandas操作更加簡介方便。 首先是pd.read_excel的引數:函式為: pd.read_excel(io, sheetname=0,he
【Python】“pandas”庫“to_sql”報錯“Invalid MySQL identifier”處理記錄
最近又要幫客戶寫指令碼拉一份統計日報,就先把一堆一堆的小SQL寫好測好後,準備用Python封裝一下。但是用到第三方“pandas”模組的“to_sql”方法往MySQL資料庫寫資料時,卻報了“Invalid MySQL identifier”無效識別符號的錯。
【Python】文件讀寫操作
class 控制臺 路徑 數據 編碼 data- ack dev dsm Python的文件讀寫有點類似php的文件讀寫。php的文件讀寫已經在《【php】讓記事本成為你調控變量的控制臺》(點擊打開鏈接)說過了,以下用一個小樣例說明Python的文件讀
【Python】 更棒的Excel操作模塊xlwings
對象 當前 offset mage charts add 更多 讀取 代碼 【xlwings】 說到Python操作Excel,有好多模塊都可以支持這個工作。比如最底層的win32模塊不僅可以操作Excel,還可以操作其他一眾windows的軟件。 其他的比較熟
【python】folium 庫繪製地圖點選框
使用folium 庫 生成 地圖網頁 folium 官網 import folium import pandas as pd def mark_map(data): """ 帶有標註的地圖 :param data: :return
【python】numpy庫linspace相同間隔取樣 詳解
linspace可以用來實現相同間隔的取樣; numpy.linspace(start,stop,num=50,endpoint=True,retstep=False, dtype=None) 返回num均勻分佈的樣本,在[start, stop]。 Parameters(引數): start :
【Python】pandas軸旋轉stack和unstack用法詳解
摘要 前面給大家分享了pandas做資料合併的兩篇[pandas.merge]和[pandas.cancat]的用法。今天這篇主要講的是pandas的DataFrame的軸旋轉操作,stack和unstack的用法。 首先,要知道以下五點: 1.stack:將資料的列“旋轉”為行 2
【python】練習:分支迴圈操作
>>>if 0: print("Hello") >>>if 1: print("Hello") Hello >>>if "
【Python】 更棒的Excel操作模組xlwings
轉載自:https://www.cnblogs.com/franknihao/p/8514634.html【xlwings】 說到Python操作Excel,有好多模組都可以支援這個工作。比如最底層的win32模組不僅可以操作Excel,還可以操作其他一眾windows的軟體。 其他的比較熟悉的有xlrd
【python】numpy庫ndarray多維陣列的的運算:np.abs(x)、np.sqrt(x)、np.modf(x)等
numpy庫提供非常便捷的陣列運算,方便資料的處理。 1、陣列與標量之間可直接進行運算 In [45]: a Out[45]: array([[ 0, 1, 2, 3], [
【Python】Pandas 的 apply 函式使用示例
apply 是 pandas 庫的一個很重要的函式,多和 groupby 函式一起用,也可以直接用於 DataFrame 和 Series 物件。主要用於資料聚合運算,可以很方便的對分組進行現有的運算和
【python】re庫 正則的一些過濾和把str拆分成list案例
0x01: 部分參考:https://www.cnblogs.com/edwardsun/p/4421773.html match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]): &n
【python】numpy庫陣列拼接np.concatenate官方文件詳解與例項
在實踐過程中,會經常遇到陣列拼接的問題,基於numpy庫concatenate是一個非常好用的陣列操作函式。 1、concatenate((a1, a2, …), axis=0)官方文件詳解 concatenate(...) concatenate(
【Python】Pandas——apply函式
apply 是 pandas 庫的一個很重要的函式,多和 groupby 函式一起用,也可以直接用於 DataFrame 和 Series 物件。主要用於資料聚合運算,可以很方便的對分組進行現有的運算和自定義的運算。 資料集 使用的資料集是美國人口普查的資料,可以從這裡下載,裡面包含了CSV資料檔
【Python】Pandas的建立、查詢、修改
DataFrame建立方法有很多,常用基本格式是:DataFrame 構造器引數:DataFrame(data=[],index=[],coloumns=[]) In [272]: df2=DataFrame(np.arange(16).reshape((4,4)),ind
【Python】讀寫檔案的操作
程式語言中,我們經常會和檔案和資料夾打交道,這篇文章主要講的是Python中,讀寫檔案的常用操作: 一、開啟檔案 openFile = open('../Files/exampleFile.txt', 'a') 說明: 1. 第一個引數是檔名稱,包括路徑,可以是相對路徑
【Python】pandas遍歷讀取excel檔案,修改並儲存(一)
code ide and lib version: python 2.7(64) pycharm 2018.1.4 xlrd 1.1.0 pandas 0.23.1 play:
【python】pandas的簡單用法
pandas安裝 pandas依賴處理Excel的xlrd模組,所以我們需要先安裝xlrd 安裝pandas模組還需要一定的編碼環境,所以我們自己在安裝的時候,確保你的電腦有這些環境:Net.4 、
python之Pandas庫的基本操作
Pandas的安裝比較容易,安裝好Numpy之後,可以通過pip install pandas直接或者下載原始碼之後安裝,但是預設的Pandas還不能讀寫Excel檔案,需要安裝xlrd(讀),xlwt(寫)庫才能支援Excel的讀寫,方法如下: pip install x