python實現對HDFS的檔案操作
阿新 • • 發佈:2019-02-09
在HDFS中,要實現對檔案的操作,一般可以在shell中傳送指令完成,但這樣太麻煩了。
當然我們可以呼叫HDFS的API,這裡我們可以使用python的pyHdfs庫來實現對HDFS的檔案操作。
一、環境準備
1、python3.5
2、pyHdfs
二、pyHdfs安裝
1、pip3 install --upgrade pip
先更新pip,防止版本過低
2、pip3 install pyHdfs
三、呼叫方法
詳細的可見官方文件
1、例項化客戶端
2、各類方法列舉from pyhdfs import HdfsClient client = HdfsClient(hosts='localhost:50070') print(client.list_status('/'))
(1)copy_from_local(localsrc, dest, **kwargs)
(2)copy_to_local(src, localdest, **kwargs)
(3)delete(path, **kwargs)
(4)exists(path, **kwargs)
(5)listdir(path, **kwargs)
(6)mkdirs(path, **kwargs)
...