今天，想著看看視訊，把模擬登陸這一塊學習學習，以後弄把梯子，去爬爬FaceBook什麼的。就拿知乎練練手吧，可曾想，知乎竟然改版了！！之前的教程書籍對現在的知乎來說，都是扯淡，連頁面都找不到了。下面一起談談改版後的紙糊的模擬登陸吧。

頁面分析

抓包

首先，開啟頁面：https://www.zhihu.com/signup?next=%2F（登入網址都變了…），F12，輸入賬號密碼（記得把密碼輸錯），點選網路，所有，剩下的如圖所示，得到請求頭。發現幾個請求頭和正常的不一樣（如圖所示）：

1. authorization: 應該是js生成的。
2. content-type

: 第一次看感覺很沒有頭緒，接下來和請求引數一起看就會一目瞭然了。
3. x-udid、x-sxrftoken:這兩個是驗證引數，在網頁原始碼中可以找到。
接下來看一下請求引數：

然後我們結合請求頭裡 content-type:multipart/form-data; boundary=…---------------22839196617062
其中multipart/form-data就是一種表單提交方式；後面的 boundary=…---------------22839196617062就是引數中的 “分割線”：

所以，直接不看那一串，引數就相當於：
client_id = c3cef7c66a1843f8b3a9e6a1e3160e20
grant_type = password
等11個引數。其中比如賬戶、密碼這些都是固定的，多次請求後，發現client_id、timestamp(時間戳) 也是固定的，signature是變動的，那麼這個signature 是什麼東西呢？

確定引數位置

所以，上面假設得到證實。而且發現，後面那一串和 client_id 的值一樣。

signature

function (e, t, n) {
    "use strict";
    function r(e, t) {
        var n = Date.now(), r = new a.a("SHA-1"
 
, "TEXT");
        return r.setHMACKey("d1b964811afb40118a12068ff74a12f4", "TEXT"), r.update(e), r.update(i.a), r.update("com.zhihu.web"), r.update(String(n)), c({
            clientId: i.a,
            grantType: e,
            timestamp: n,
            source: "com.zhihu.web",
            signature: r.getHMAC("HEX")
        }, t)
    }

所以，signature 的值就是一些變數進行 HMAC 得到的值。

x-udid、x-sxrftoken

直接查詢網站原始碼，搜尋全域性，定位了這兩個：

後續就是使用正則把他們匹配出來。

程式碼設計

主函式的書寫

需要匯入的python庫有：

import scrapy
from scrapy.http import Request,FormRequest
import base64
import re
import execjs
import time
from PIL import Image
import os

設定爬蟲通用的請求頭：

    header = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/58.0',
        'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20'
        }

時間戳的和獲取方法：

timestamp = int(time.time() * 1000)

客戶端 id

client_id = 'c3cef7c66a1843f8b3a9e6a1e3160e20'

定向登入原網站，這裡用到 Request()方法

    def start_requests(self):
        url = 'https://www.zhihu.com/signup?next=%2F'
        return [Request(url, meta={'cookiejar': 1}, callback=self.parse)]

定位驗證碼網站

    def parse(self, response):
        pat = re.compile('xsrf":"(.*?)&')
        self.xtoken = pat.findall(response.body.decode('utf-8', 'ignore'))[0]
        tempurl = 'https://www.zhihu.com/api/v3/oauth/captcha?lang=en'
        yield Request(tempurl, headers=self.header, meta={"cookiejar": True}, callback=self.end)

 def end(self, response):
        data = response.text
        if re.search('true', data):
            self.i = self.i + 1
            print('需要驗證碼')
            yield Request('https://www.zhihu.com/api/v3/oauth/captcha?lang=cn', method='put', headers=self.header,
                          meta={"cookiejar": True},
                          callback=lambda response, ki='cn': self.parser_captcha(response, ki))
        else:
            print('無需驗證碼')
            username = '+86手機號'
            password = '你的密碼'
            signature = self.add().call('run', 'password', self.timestamp)
            data = {
                'client_id': self.client_id, 'grant_type': 'password',
                'timestamp': str(self.timestamp), 'source': 'com.zhihu.web',
                'signature': signature, 'username': username,
                'password': password, 'captcha': self.captcha,
                'lang': 'en', 'ref_source': 'homepage', 'utm_source': ''
            }
            urls = 'https://www.zhihu.com/api/v3/oauth/sign_in'
            yield FormRequest(urls, method='post', headers=self.header, meta={"cookiejar": response.meta["cookiejar"]},
                              formdata=data, callback=self.next, )

登陸所需方法：驗證碼模組。(知乎的驗證比較變態，需要post兩次。)

POST第一次,傳送資料給驗證碼來源網站.

    def parser_captcha(self, response, ki):
        header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/58.0',
            'x - udid': 'ACBCVUdOYguPTkCvnaFKpSly5-s9HmXSCPg=',
            'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20',
            'X-Xsrftoken': self.xtoken
        }
        print(ki)
        pat = re.compile('(?s)"img_base64":"(.*?)"')
        data = eval(repr(pat.findall(response.body.decode('utf-8', 'ignore'))[0]).replace('\\\\', '\\'))
        k = base64.b64decode(data)
        with open('D:/captcha.jpg', 'wb') as f:
            f.write(k)
            f.close()
        try:
            im = Image.open('D:/captcha.jpg')
            im.show()
            im.close()
        except:
            print(u'請到 %s 目錄找到captcha.jpg 手動輸入' % os.path.abspath('captcha.jpg'))
        self.captcha = input("please input the captcha\n>")
        form = {'input_text': str(self.captcha)}
        yield FormRequest(response.url, headers=header, meta={'cookiejar': response.meta['cookiejar']}, formdata=form,
                          callback=self.finall)

POST第二次，傳送資料給真正的登陸介面。

    def finall(self, response):
        header = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; …) Gecko/20100101 Firefox/58.0',
            'x - udid': 'ACBCVUdOYguPTkCvnaFKpSly5-s9HmXSCPg=',
            'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20',
            'X-Xsrftoken': self.xtoken
        }
        username = '+86手機號'
        print('1')
        password = '你的密碼'
        timestamp = int(time.time() * 1000)
        signature = self.add().call('run', 'password', timestamp)
        print(signature)
        data = {
            'client_id': self.client_id, 'grant_type': 'password',
            'timestamp': str(timestamp), 'source': 'com.zhihu.web',
            'signature': signature, 'username': username,
            'password': password, 'captcha': str(self.captcha),
            'lang': 'en', 'ref_source': 'homepage', 'utm_source': ''
        }
        urls = 'https://www.zhihu.com/api/v3/oauth/sign_in'
        print(2)
        print(data)
        yield FormRequest(urls, method='post', headers=header, meta={"cookiejar": response.meta["cookiejar"]},
                          formdata=data, callback=self.next, )

 def add(self):
        js1 = execjs.compile("""
                      貼上程式碼（由於篇幅太長，沒展示）
               """)
        return js1

多次執行測試，發現都沒返回圖片。

但是不排除有返回的可能性。
今天就到這吧，歡迎留言交流。
歡迎關注我的個人公眾號。