1. 程式人生 > >利用Python實現迴圈訪問網站頁面

利用Python實現迴圈訪問網站頁面

1.開啟瀏覽器訪問的方式 - 利用Python迴圈開啟網頁

 

2.無需開啟瀏覽器訪問的方式

案例: 重複訪問CSND網站實現 → 訪問量24小時不斷增加.

# -*- coding: utf-8 -*-
import requests
import time

url_pre = "https://blog.csdn.net/qq_40820862/article/details/"

list = [82620472,82589504,82584718,82555344,82528003,82526621,82428457,82355638,82355330,82355330,
        82343369,82178091,82153197,82077644,82077551,82023972,82019167,82017912,81986374,81986018,
        81985288,81974371,81974148,81974016,81951756,81951049,81780459,81780152,81779993,81779056,
        81778791,81778173,81777569,81739856,81629332,81623546,81587920,81567732,81543990,81537971,
        81513128,81474963,81474845,81474803,81474683,81474524,81474424,81450180,81449928,81449739,
        81449595,81449523,81449067,81428522,81428432,81428347,81428067,81428052,81427991,81427815,
        81427744,81415208,81414892,81409938,81409874,81409768,81409717,81409609,81409508,81408510,
        81866096,81474988,81474865,81450567,81450029,81449258,81428187,81449446]
j = 0
while True:

    for index,i in enumerate(list):
        print(index, end=" ",flush=True)
        requests.get(url_pre + str(i))
        time.sleep(1)

    j += 1
    print("  ", j ,"次迴圈訪問已完成")

伺服器佈置:

由於現在linux伺服器自帶python環境,使用python -v檢視python版本,若是3以上版本則可以使用該python指令碼,將python指令碼放入到/usr/local/Python_Scrapy/ 目錄中,檔名稱為:csdn_+1.py.

在linux中輸入: nohup python /usr/local/Python_Scrapy/csdn_+1.py

 

補充:

如何讓 Python 程式碼常駐在伺服器程序中

一、nohup

nohup,即 no hangup,nohup 的用途就是讓提交的命令忽略 hangup 訊號,從而使我們的程序避免中途被中斷。它可以讓 python 指令碼和伺服器連線端的 session 分離,以達到退出後依舊執行:

$ chmod +x /your_path/yourscript.py   # 先設定可執行許可權$ nohup python /your_path/yourscript.py # 切記退出的 Terminal 的時候,不要 ctrl+c 退出,而是直接關閉,不然 Nohup 就被你關閉了。

如何關閉這個一直執行的程序呢:

# 找到對應的程序 PID
$ ps -ef | grep python

# 返回內容如:
user      2430     1  0 Jul03 ?        00:00:01 /usr/bin/python -tt /usr/sbin/yum-updatesd

# kill 掉該程序即可:
$ kill -9 2430

PS:nohup 在伺服器重啟之後就失效了,所以並不完美。

二、將命令寫入 Linux 啟動指令碼

Linux 在啟動的時候會執行 /etc/rc.local 裡面的指令碼,所以只要在這裡新增執行命令就可以:

$ vim /etc/rc.local

# 如果是 Centos 新增以下內容:
/your_path/python3.4 /your_path/yourscript.py

# 以上內容需要新增在 exit 命令前,而且由於在執行 rc.local 指令碼時,PATH 環境變數未全部初始化,因此命令需要使用絕對路徑。

PS:這種方式的缺點是如果指令碼掛了,那麼不會自動重新啟動。