1. 程式人生 > >從教務網爬蟲程序到騰訊雲上的運行

從教務網爬蟲程序到騰訊雲上的運行

pytho 創建 輸入 ubunt 雲服務 test CP user ann

從教務網爬蟲程序到騰訊雲上的運行

主要內容有以下幾方面:

  • pip3以及相關python包的安裝
  • mysql數據庫的連接以及相關操作
  • 騰訊雲服務器的設置與連接,文件傳輸等操作

pip3以及相關python包的安裝

在使用python3時,需要安裝對應的pip版本,即pip3.ubuntu系統下的安裝方式如下:
$ sudo apt-get install python3-pip
安裝完成後就可以使用pip3來安裝相應的python包,如requests包的安裝方式如下:
$ sudo pip3 install requests
*當pip3從低版本升級到10.0後會出現cannot import name ‘main‘的問題,具體的解決步驟參考大佬博客,鏈接如下:
https://blog.csdn.net/qq_31643159/article/details/80045275*

mysql數據庫的連接以及相關操作

在此次設計中,mysql數據庫主要用於郵箱帳號存儲,通知的存儲(用於和下次爬取的數據進行比較,每次爬取完成後都對其進行更新)。在使用mysql數據庫之前,需要安裝pymysql包。

  1. mysql數據庫的連接:
    con = pymysql.connect(host=‘localhost‘, user=‘root‘, passwd=‘****‘, db=‘JwLib‘, charset=‘utf8‘)

  2. 遊標的創建:
    cursor = con.cursor()
  3. 相關操作的執行:
    cursor.execute("select TopTitle from TopNotice")

    cursor.execute("***************")
  4. 關閉遊標與數據庫
    cursor.close()
    con.close()


騰訊雲服務器設置,連接,文件傳輸等操作

雲服務器的使用需要進行購買,目前有阿裏雲,騰訊雲等

  1. 在利用服務器進行郵件發送操作時,大多時候都會失敗,因為騰訊雲服務器是默認關閉了25號端口的,需要自行申請解封。解封方式比較簡單,進入雲服務器控制臺,點擊個人帳號即會出現25號端口解封的引導。

  2. 將編輯好的程序文件從ubuntu上傳至服務器
    scp /home/qiao/python_file/test.py ubuntu@***.152.***.1**:/home/ubuntu/python_file


    @後面的內容是雲服務器的ip,執行上述命令之後,輸入對應的密碼即可(密碼不可見)
    執行之後,即可將/home/qiao/python_file/test.py文件上傳至服務器的/home/ubuntu/python_file文件夾下。

  3. ubuntu16.04登錄雲服務器(ubuntu系統)的命令如下:
    ssh ubuntu@122.***.142.***
    @後面的內容是雲服務器的ip,執行上述命令之後,輸入對應的密碼即可(密碼不可見)。完畢之後就可以看到服務器的終端,然後進行相應的操作啦。

  4. 在雲服務器上讓程序一直不停地運行下去,命令如下:
    sudo nohup python3 test.py &
    采用nohup和&的結合操作,可以達到一直不停地運行的目的,可以關閉服務器終端,退出控制臺等,程序都將運行下去,但必須保證服務器處於正常開機運行的狀態。

從教務網爬蟲程序到騰訊雲上的運行