博主純手工打字，轉載請註明出處！各位大佬不喜勿噴！

先籠統說一下本文針對ftp協議下的資料夾和檔案遞迴下載方法：

（I）使用FileZilla工具進行下載；

（II）使用指令碼爬取；

（III）使用命令直接下載；

（IV）python指令碼直接下載。

       最近需要下載一批新的韌體，本來是準備寫指令碼爬取的，但是使用scrapy框架爬取的時候，發現並不能有效地支援ftp協議的情況，貌似很好地支援http和https協議的網址。

（1）通過向大佬同學東神諮詢和學習後，得知存在一些下載工具或者使用命令準們針對ftp協議的檔案傳輸下載會更好。

在windows和linux或者os系統下，一個很好的圖形介面工具是FileZilla，能夠很好地支援資料夾和檔案的遞迴下載：

必要的時候需要輸入使用者名稱和密碼。對於這個ftp伺服器，暫時還是不需要的。

（2）然而使用scrapy框架爬取，只是針對網頁內容的爬取比較好。當然也存在一些擴充套件外掛，支援ftp的爬取。如下面這個部落格裡面就提供了一個很好的使用案例和方法。

#! -*- encoding:utf-8 -*-
#file is 'ftp.py', sys.path:'src.middleware.ftp.FtpDownloadHandler'

__author__ = 'C.L.TANG'
import urllib2
from scrapy.http import Response


class FtpDownloadHandler(object):

    def download_request(self, request, spider):
        """Return a deferred for the HTTP download"""
        handler = urllib2.FTPHandler()
        req = urllib2.Request(url = request.url)
        opener = urllib2.build_opener(handler)
        f = opener.open(req)
        b = f.read()
        print len(b)
        respcls = Response(url = request.url, body=b, request = request)
        return respcls
 

##然後在自己專案的settings.py檔案中指定：

DOWNLOAD_HANDLERS = {'ftp' :  'src.middleware.ftp.FtpDownloadHandler'}

##在爬蟲類中有：

#! -*- encoding:utf-8 -*-
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.http import Request


class ShopSpider(CrawlSpider):
    name = '958shop'
    allowed_domains = ['958shop.com']

    def start_requests(self):
        request = Request(url = 'ftp://b9:
 
[email protected]/2011/11/15/52076863815926.jar')
        request.callback = self.down_debug_html
        return [request,]

    def down_debug_html(self, response):
        #在這裡呼叫存入下載連結地址的方法.
        #file_name =  response.meta['file_name']
        print response.url
        filename = 'debug.html'
        open(filename, 'wb').write(response.body)

針對上面的這個方法，本博主還沒有著手實現。有志者可以著手試試！順便寫個留言部落格地址讓我膜拜一下。

（3）關於使用命令於是就各種百度查詢，使用命令都需要知道ftp伺服器的使用者名稱和密碼，但是我一臉懵逼，因為我現在只知道對應的ftp地址，哪裡知道什麼使用者名稱和密碼。這就很氣了！

於是就使用wireshark進行抓包分析和觀望，得到了使用者名稱和密碼：

username = anonymous， [email protected]

但是第二次我再次抓包的時候，發現登入的密碼已經變成了[email protected]，我嘗試把密碼改為這個進行測試的時候，結果顯示也是能夠直接獲取資料的。然後我就猜測匿名登入的時候密碼為空的時候，於是我就測試一下發現的確密碼為空的時候是可以登入，所以驗證密碼為任意。

於是我又大膽地猜測如果使用者名稱也為空的話，是不是能通過？於是我就把使用者名稱和密碼都置為空，但是好像無法登陸！

於是我又猜測，是不是隻用使用者名稱不為空就可以呢？我就把使用者名稱改為不是anonymous這個內容，結果報錯了：

就構造了下面這條連結，但是並非那麼地好用，因為下載速度很是慢啊。

wget -r -nH -P ./ ftp://ftp2.dlink.com/PRODUCTS/* --f --ftp-user=anonymous [email protected]

在接下來本博主準備寫一個指令碼處理問價，下載檔案內容，猜測應該會好用很多。

（4）python指令碼下載

本博主寫的python下載內容是參考這個的，由於專案內容，暫時不便放出來。需要的同學參考這個自己寫一個吧。

# -*- encoding: utf8 -*-
import os
import sys
import ftplib 
sys.setdefaultencoding('gbk')
XFER_FILE = 'FILE'  
_XFER_DIR = 'DIR'  
class FTPSync(object):
    def __init__(self):
        self.conn = ftplib.FTP('192.168.8.5', 'tools', 'tools')
        self.conn.cwd('/meteor')        # 遠端FTP目錄
        os.chdir('./aa')        # 本地下載目錄
    def get_dirs_files(self):
        u''' 得到當前目錄和檔案, 放入dir_res列表 '''
        dir_res = []
        self.conn.dir('.', dir_res.append)
        files = [f.split(None, 8)[-1] for f in dir_res if f.startswith('-')]
        dirs = [f.split(None, 8)[-1] for f in dir_res if f.startswith('d')]
        return (files, dirs)
    def walk(self, next_dir):
        print 'Walking to', next_dir
        self.conn.cwd(next_dir)
        try:
            os.mkdir(next_dir)
        except OSError:
            pass
        os.chdir(next_dir)
        ftp_curr_dir = self.conn.pwd()
        local_curr_dir = os.getcwd()
        files, dirs = self.get_dirs_files()
        print "FILES: ", files
        print "DIRS: ", dirs
        for f in files:
            print next_dir, ':', f
            outf = open(f, 'wb')
            try:
                self.conn.retrbinary('RETR %s' % f, outf.write)
            finally:
                outf.close()
        for d in dirs:
            os.chdir(local_curr_dir)
            self.conn.cwd(ftp_curr_dir)
            self.walk(d)
    def run(self):
        self.walk('.')
def main():
    f = FTPSync()
    # f.run()
if __name__ == '__main__':
    main()
 
 
class Xfer(object):  
    ''''' 
    @note: upload local file or dirs recursively to ftp server 
    '''  
    def __init__(self):  
        self.ftp = None  
      
    def __del__(self):  
        pass  
      
    def setFtpParams(self, ip, uname, pwd, port = 21, timeout = 60):          
        self.ip = ip  
        self.uname = uname  
        self.pwd = pwd  
        self.port = port  
        self.timeout = timeout  
      
    def initEnv(self):  
        if self.ftp is None:  
            self.ftp = ftplib.FTP()  
            print '### connect ftp server: %s ...'%self.ip  
            self.ftp.connect(self.ip, self.port, self.timeout)  
            self.ftp.login(self.uname, self.pwd)   
            print self.ftp.getwelcome()  
      
    def clearEnv(self):  
        if self.ftp:  
            self.ftp.close()  
            print '### disconnect ftp server: %s!'%self.ip   
            self.ftp = None  
      
    def uploadDir(self, localdir='./', remotedir='./'):  
        if not os.path.isdir(localdir):    
            return  
        self.ftp.cwd(remotedir)   
        for file in os.listdir(localdir):  
            src = os.path.join(localdir, file)  
            if os.path.isfile(src):  
                self.uploadFile(src, file)  
            elif os.path.isdir(src):  
                try:    
                    self.ftp.mkd(file)    
                except:    
                    sys.stderr.write('the dir is exists %s'%file)  
                self.uploadDir(src, file)  
        self.ftp.cwd('..')  
      
    def uploadFile(self, localpath, remotepath='~/test'):  
        if not os.path.isfile(localpath):    
            return  
        print '+++ upload %s to %s:%s'%(localpath, self.ip, remotepath)  
        self.ftp.storbinary('STOR ' + remotepath, open(localpath, 'rb'))  
      
    def __filetype(self, src):  
        if os.path.isfile(src):  
            index = src.rfind('\\')  
            if index == -1:  
                index = src.rfind('/')                  
            return _XFER_FILE, src[index+1:]  
        elif os.path.isdir(src):  
            return _XFER_DIR, ''          
      
    def upload(self, src):  
        filetype, filename = self.__filetype(src)  
          
        self.initEnv()  
        if filetype == _XFER_DIR:  
            self.srcDir = src              
            self.uploadDir(self.srcDir)  
        elif filetype == _XFER_FILE:  
            self.uploadFile(src, filename)  
        self.clearEnv()   
                 
  
if __name__ == '__main__':  
    srcDir = r"/Users/meteor/Desktop/gitlab/aa"  
# srcFile = r'C:\sytst\sar.c'  
    xfer = Xfer()  
    xfer.setFtpParams('192.168.8.5', 'tools', 'tools')  
    xfer.upload(srcDir)      
    xfer.upload(srcFile)  

參考連結：