【Python3 爬蟲學習筆記】Web庫的安裝
阿新 • • 發佈:2018-12-09
我們主要使用Flask、Django等Web服務程式來搭建一些API介面,供我們的爬蟲使用。例如維護一個代理池,代理儲存在Redis資料庫中,我們要將代理池作為一個公共的元件使用,那麼如何構建一個方便的平臺來供我們獲取這些代理呢?最適合不過就是通過Web服務提供一個API介面,我們只需要請求介面即可獲取新的代理。
一、Flask的安裝
安裝
pip3 install flask
二、Tornado的安裝
Tornado是一個支援非同步的Web框架,通過使用非阻塞I/O流,它可以支撐成千上萬的開放連線,效率非常高。 安裝
pip3 install tornado
驗證安裝
import tornado.ioloop
import tornado.web
class MainHandler(tornado.web.RequestHandler):
def get(self):
self.write("Hello, World!")
def make_app():
return tornado.web.Application([
(r"/", MainHandler),
])
if __name__ == "__main__":
app = make_app()
app.listen(8888)
tornado.ioloop.IOLoop.current().start()
直接執行程式,可以發現系統在8888埠運行了Web服務,控制檯沒有輸出內容,此時訪問http://127.0.0.1:8888/ ,可以觀察到網頁中呈現了Hello,World!,這說明Tornado成功安裝了。