1. 程式人生 > >python實現對HDFS的檔案操作

python實現對HDFS的檔案操作

在HDFS中,要實現對檔案的操作,一般可以在shell中傳送指令完成,但這樣太麻煩了。

當然我們可以呼叫HDFS的API,這裡我們可以使用python的pyHdfs庫來實現對HDFS的檔案操作。

一、環境準備

1、python3.5

2、pyHdfs

二、pyHdfs安裝

1、pip3 install --upgrade pip

先更新pip,防止版本過低

2、pip3 install pyHdfs

三、呼叫方法

詳細的可見官方文件

1、例項化客戶端

from pyhdfs import HdfsClient
client = HdfsClient(hosts='localhost:50070')
print(client.list_status('/'))
2、各類方法列舉

(1)copy_from_local(localsrc, dest, **kwargs)

(2)copy_to_local(src, localdest, **kwargs)

(3)delete(path, **kwargs)

(4)exists(path, **kwargs)

(5)listdir(path, **kwargs)

(6)mkdirs(path, **kwargs)

...