1. 程式人生 > >【python】pandas庫pd.read_pickle操作讀取pickle資料與.to_pickle()永久儲存資料

【python】pandas庫pd.read_pickle操作讀取pickle資料與.to_pickle()永久儲存資料

之前總結了python的pickle庫的操作,儲存資料使用pickle.dump(obj, file, [,protocol]),將物件obj儲存到檔案file中去。使用pickle.load(file)從file中讀取一個字串,並將它重構為原來的python物件,反序列化出物件過程;

1、pickle.dump(obj, file, [,protocol])

In [1]: import pickle
#寫入一個檔案,用寫入二進位制的格式
In [2]: f = open('data_one.pkl','wb')
#待寫入資料
In [3]: datas = {'name':'Bruce'
,'age':25,'high':175} #dump函式將obj資料datas匯入到file檔案f中 In [4]: data_one = pickle.dump(datas,f,-1) #完整的f檔案操作控制代碼 In [5]: f.close()

2、pickle.load(file)

#開啟一個data_one檔案
In [8]: f = open('data_one.pkl','rb')
#可以看出開啟後是一個pkl檔案
In [12]: open('data_one.pkl','rb')
Out[12]: <_io.BufferedReader name='data_one.pkl'
> #使用load的方法將資料從pkl檔案中讀取出來 In [9]: pickle.load(f) Out[9]: {'age': 25, 'high': 175, 'name': 'Bruce'} In [10]: f.close() #開啟檔案使用pickle.load後,生成的檔案後續可以一直呼叫 In [13]: f = open('data_one.pkl','rb') In [14]: c = pickle.load(f) In [15]: f.close() #呼叫已經匯出來的檔案 In [16]: c Out[16]: {'age': 25, 'high': 175, 'name'
: 'Bruce'}

3、使用pandas庫進行pickle更加簡單

  • 使用DataFrame的to_pickle屬性就可以生成pickle檔案對資料進行永久儲存
In [34]: import pandas as pd
In [36]: import numpy as np
In [38]: df = pd.DataFrame(np.arange(20).reshape(4,5))

In [39]: df
Out[39]:
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19
#使用DataFrame的to_pickle屬性就可以生成pickle檔案對資料進行永久儲存
In [40]: df.to_pickle('foo.pkl')
  • 使用pandas庫的pd.read_pickle讀取pickle資料
In [42]: pd.read_pickle('foo.pkl')
Out[42]:
    0   1   2   3   4
0   0   1   2   3   4
1   5   6   7   8   9
2  10  11  12  13  14
3  15  16  17  18  19

相關推薦

pythonpandaspd.read_pickle操作讀取pickle資料.to_pickle()永久儲存資料

之前總結了python的pickle庫的操作,儲存資料使用pickle.dump(obj, file, [,protocol]),將物件obj儲存到檔案file中去。使用pickle.load(file)從file中讀取一個字串,並將它重構為原來的python物

pythonpandaspd.read_excel操作讀取excel檔案引數整理例項

除了使用xlrd庫或者xlwt庫進行對excel表格的操作讀與寫,而且pandas庫同樣支援excel的操作;且pandas操作更加簡介方便。 首先是pd.read_excel的引數:函式為: pd.read_excel(io, sheetname=0,he

Pythonpandas“to_sql”報錯“Invalid MySQL identifier”處理記錄

     最近又要幫客戶寫指令碼拉一份統計日報,就先把一堆一堆的小SQL寫好測好後,準備用Python封裝一下。但是用到第三方“pandas”模組的“to_sql”方法往MySQL資料庫寫資料時,卻報了“Invalid MySQL identifier”無效識別符號的錯。

Python文件讀寫操作

class 控制臺 路徑 數據 編碼 data- ack dev dsm Python的文件讀寫有點類似php的文件讀寫。php的文件讀寫已經在《【php】讓記事本成為你調控變量的控制臺》(點擊打開鏈接)說過了,以下用一個小樣例說明Python的文件讀

Python 更棒的Excel操作模塊xlwings

對象 當前 offset mage charts add 更多 讀取 代碼 【xlwings】   說到Python操作Excel,有好多模塊都可以支持這個工作。比如最底層的win32模塊不僅可以操作Excel,還可以操作其他一眾windows的軟件。   其他的比較熟

pythonfolium 繪製地圖點選框

使用folium 庫 生成 地圖網頁 folium 官網 import folium import pandas as pd def mark_map(data): """ 帶有標註的地圖 :param data: :return

pythonnumpylinspace相同間隔取樣 詳解

linspace可以用來實現相同間隔的取樣; numpy.linspace(start,stop,num=50,endpoint=True,retstep=False, dtype=None) 返回num均勻分佈的樣本,在[start, stop]。 Parameters(引數): start :

Pythonpandas軸旋轉stack和unstack用法詳解

摘要 前面給大家分享了pandas做資料合併的兩篇[pandas.merge]和[pandas.cancat]的用法。今天這篇主要講的是pandas的DataFrame的軸旋轉操作,stack和unstack的用法。 首先,要知道以下五點: 1.stack:將資料的列“旋轉”為行 2

python練習:分支迴圈操作

>>>if 0: print("Hello") >>>if 1: print("Hello") Hello >>>if "

Python 更棒的Excel操作模組xlwings

轉載自:https://www.cnblogs.com/franknihao/p/8514634.html【xlwings】  說到Python操作Excel,有好多模組都可以支援這個工作。比如最底層的win32模組不僅可以操作Excel,還可以操作其他一眾windows的軟體。  其他的比較熟悉的有xlrd

pythonnumpyndarray多維陣列的的運算:np.abs(x)、np.sqrt(x)、np.modf(x)等

numpy庫提供非常便捷的陣列運算,方便資料的處理。 1、陣列與標量之間可直接進行運算 In [45]: a Out[45]: array([[ 0, 1, 2, 3], [

PythonPandas 的 apply 函式使用示例

apply 是 pandas 庫的一個很重要的函式,多和 groupby 函式一起用,也可以直接用於 DataFrame 和 Series 物件。主要用於資料聚合運算,可以很方便的對分組進行現有的運算和

pythonre 正則的一些過濾和把str拆分成list案例

0x01: 部分參考:https://www.cnblogs.com/edwardsun/p/4421773.html   match(string[, pos[, endpos]]) | re.match(pattern, string[, flags]):  &n

pythonnumpy陣列拼接np.concatenate官方文件詳解例項

在實踐過程中,會經常遇到陣列拼接的問題,基於numpy庫concatenate是一個非常好用的陣列操作函式。 1、concatenate((a1, a2, …), axis=0)官方文件詳解 concatenate(...) concatenate(

PythonPandas——apply函式

apply 是 pandas 庫的一個很重要的函式,多和 groupby 函式一起用,也可以直接用於 DataFrame 和 Series 物件。主要用於資料聚合運算,可以很方便的對分組進行現有的運算和自定義的運算。 資料集 使用的資料集是美國人口普查的資料,可以從這裡下載,裡面包含了CSV資料檔

PythonPandas的建立、查詢、修改

DataFrame建立方法有很多,常用基本格式是:DataFrame 構造器引數:DataFrame(data=[],index=[],coloumns=[]) In [272]: df2=DataFrame(np.arange(16).reshape((4,4)),ind

Python讀寫檔案的操作

程式語言中,我們經常會和檔案和資料夾打交道,這篇文章主要講的是Python中,讀寫檔案的常用操作: 一、開啟檔案 openFile = open('../Files/exampleFile.txt', 'a') 說明: 1. 第一個引數是檔名稱,包括路徑,可以是相對路徑

Pythonpandas遍歷讀取excel檔案,修改並儲存(一)

code ide and lib version: python            2.7(64) pycharm            2018.1.4 xlrd            1.1.0 pandas            0.23.1 play:

pythonpandas的簡單用法

pandas安裝 pandas依賴處理Excel的xlrd模組,所以我們需要先安裝xlrd 安裝pandas模組還需要一定的編碼環境,所以我們自己在安裝的時候,確保你的電腦有這些環境:Net.4 、

pythonPandas的基本操作

Pandas的安裝比較容易,安裝好Numpy之後,可以通過pip install pandas直接或者下載原始碼之後安裝,但是預設的Pandas還不能讀寫Excel檔案,需要安裝xlrd(讀),xlwt(寫)庫才能支援Excel的讀寫,方法如下: pip install x