二話不說，先上程式碼~

import requests
import json
def getdata(index):
    a=input("呼叫gedata方法")
    print("正在抓取{index}頁資料")
    payload = {"pageIndex":index,
            "pageSize":700,
            "relativeOffset":50,
            "frontCategoryId":400000001295013,
            "searchTimeType":-1,
            "orderType":50,
            "priceType":-1,
            "activityId":0,
            "keyword":""
    }
    payload 
 
= json.dumps(payload)
    headers = {"Accept":"application/json",
               "Host":"study.163.com",
               "Origin":"https://study.163.com",
               "Content-Type":"application/json",
               "Referer":"https://study.163.com/courses",
               "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36"
    }
    req 
 
= requests.post("https://study.163.com/p/search/studycourse.json",data=payload,headers=headers)
    e=input("成功post到資料")
    print(type(req))
    res_json = json.loads(req.text)
    print(type(res_json))
    with open("C:/Users/Administrator/Desktop/wangyiCloud.json","w") as f:
        json.dump(res_json,f)
        
 
print("寫入檔案完成...")
    
a=getdata(1)
b=input("執行到了這")

     

這段資料是爬取網易雲課堂的程式碼~因為我是寫php的，所以以上程式碼如果有什麼問題敬請斧正   我先講一下業務背景吧，leader讓我把市面上主流的線上學習的網站的課程資料全部爬取下來~ 一開始接到的時候，有點無從開始，沒做過啊， 最開始是去搜怎麼爬取網頁的資料，瞭解到了一種是通過模擬headers來獲取資料，另一種就是獲取整個頁面的html，再通過選擇器來獲取你想要的資料   最開始接觸的就是scrapy框架，打算建立在windows環境下，果然windows下的安裝果然不省心，遇到這方面問題的可以去看看我的另一篇博文：windows下安裝scrapy的各種問題   安裝好了之後，根據他的教程走，很快的就把csdn，極客，騰訊課堂都爬下來了~   之後爬取網易雲課堂的時候，發現爬取下來的html頁面裡面沒有具體的課程資料，去看網站的整個載入過程發現，是通過js載入的資料 可以看到，資料都是通過studycourse.json載入的，那這種就簡單了，直接通過模擬headers跟post的資料就能獲取了~   資料是通過post獲取的，提交的是Payload型別，資料格式是json， 提取一下post關鍵字，frontCategory，字面意思，前面 類別，大致猜一下應該就是課程的大分類id，keyword應該是我們搜尋時才有 pageSize是載入的資料的大小，pageIndex是第幾個頁面   因為是寫php的，所以就直接想通過curl模擬post 程式碼如下：    

 //curl模擬post獲取網易雲資料
    public function wangyiDataAction(){
        $url = "https://study.163.com/p/search/studycourse.json";
        $headers = array(
            "Accept"    =>"application/json",
            "Host"        =>"study.163.com",
            "Origin"    =>"https://study.163.com",
            "Content-Type"=>"application/json",
            "Referer"    =>"https://study.163.com/courses",
            "User-Agent"=>"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36",
        );
        $payload = array(
            "pageIndex"        =>1,
            "pageSize"        =>700,
            "relativeOffset"=>50,
            "frontCategoryId"=>400000001295013,
            "searchTimeType"=>-1,
            "orderType"        =>50,
            "priceType"        =>-1,
            "activityId"    =>0,
            "keyword"        =>"",
        );
        $payload = json_encode($payload);
        $curl = curl_init();
        curl_setopt($curl, CURLOPT_URL, $url);
        curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, FALSE);
        curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, FALSE);
        curl_setopt($curl, CURLOPT_HEADER, $headers);
        curl_setopt($curl, CURLOPT_POST, 1);
        curl_setopt($curl, CURLOPT_POSTFIELDS, $payload);
        curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
        $output = curl_exec($curl);
        curl_close($curl);
        echo"<pre>";print_r($output);
        return $output;
    }

 

  執行之後獲取的結果卻是   搞不懂這是什麼？知道的求科普一下~   沒辦法，用python再寫一遍~   程式碼如下~

import requests
import json
def getdata(index):
    a=input("呼叫gedata方法")
    print("正在抓取{index}頁資料")
    payload = {"pageIndex":index,
            "pageSize":700,
            "relativeOffset":50,
            "frontCategoryId":400000001295013,
            "searchTimeType":-1,
            "orderType":50,
            "priceType":-1,
            "activityId":0,
            "keyword":""
    }
    print(type(payload))
    payload = json.dumps(payload)
    print(type(payload))
    headers = {"Accept":"application/json",
               "Host":"study.163.com",
               "Origin":"https://study.163.com",
               "Content-Type":"application/json",
               "Referer":"https://study.163.com/courses",
               "User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/62.0.3202.62 Safari/537.36"
    }
    print(type(headers))
    req = requests.post("https://study.163.com/p/search/studycourse.json",data=payload,headers=headers)
    e=input("成功post到資料")
    print(type(req))
    res_json = json.loads(req.text)
    print(type(res_json))
    with open("C:/Users/Administrator/Desktop/wangyiPublic.json","w") as f:
        json.dump(res_json,f)
        print("寫入檔案完成...")
    
a=getdata(1)
b=input("執行到了這")

 

  因為對python不會，所以有很多列印的 執行結果如下： 比較要注意的點是req的資料型別，打印出來是requests.models.Reaponse 去百度了一下：

相關推薦