1. 程式人生 > >【Python3 爬蟲學習筆記】Web庫的安裝

【Python3 爬蟲學習筆記】Web庫的安裝

我們主要使用Flask、Django等Web服務程式來搭建一些API介面,供我們的爬蟲使用。例如維護一個代理池,代理儲存在Redis資料庫中,我們要將代理池作為一個公共的元件使用,那麼如何構建一個方便的平臺來供我們獲取這些代理呢?最適合不過就是通過Web服務提供一個API介面,我們只需要請求介面即可獲取新的代理。

一、Flask的安裝

安裝

pip3 install flask

二、Tornado的安裝

Tornado是一個支援非同步的Web框架,通過使用非阻塞I/O流,它可以支撐成千上萬的開放連線,效率非常高。 安裝

pip3 install tornado

驗證安裝

import
tornado.ioloop import tornado.web class MainHandler(tornado.web.RequestHandler): def get(self): self.write("Hello, World!") def make_app(): return tornado.web.Application([ (r"/", MainHandler), ]) if __name__ == "__main__": app = make_app() app.listen(8888) tornado.ioloop.IOLoop.current().start()

直接執行程式,可以發現系統在8888埠運行了Web服務,控制檯沒有輸出內容,此時訪問http://127.0.0.1:8888/ ,可以觀察到網頁中呈現了Hello,World!,這說明Tornado成功安裝了。