2. 程式人生 > >[Scrapy]模擬登陸並獲取Cookie值

[Scrapy]模擬登陸並獲取Cookie值

阿新 • • 發佈：2019-02-03

1.分析登陸網址的方式
1.1使用Firefox或者Chrom瀏覽器F12，以Firefox登陸廣工圖書館為例（該網址設計使用Cookie來記錄登陸狀態）
1.2登陸前
這裡寫圖片描述
1.3登陸後
這裡寫圖片描述
1.4根據登陸後可見POST方法的引數

__EVENTTARGET:
__EVENTARGUMENT:
__VIEWSTATE:/wEPDwULLTE0MjY3MDAxNzcPZBYCZg9kFgoCAQ8PFgIeCEltYWdlVXJsBRt+XGltYWdlc1xoZWFkZXJvcGFjNGdpZi5naWZkZAICDw8WAh4EVGV4dAUt5bm/5Lic5bel5Lia5aSn5a2m5Zu+5
 
Lmm6aaG5Lmm55uu5qOA57Si57O757ufZGQCAw8PFgIfAQUcMjAxNuW5tDEy5pyIMTPml6UgIOaYn+acn+S6jGRkAgQPZBYEZg9kFgQCAQ8WAh4LXyFJdGVtQ291bnQCCBYSAgEPZBYCZg8VAwtzZWFyY2guYXNweAAM55uu5b2V5qOA57SiZAICD2QWAmYPFQMTcGVyaV9uYXZfY2xhc3MuYXNweAAM5YiG57G75a+86IiqZAIDD2QWAmYPFQMOYm9va19yYW5rLmFzcHgADOivu+S5puaMh+W8lWQCBA9kFgJmDxUDCXhzdGIuYXNweAAM5paw5Lmm6YCa5oqlZAIFD2QWAmYPFQMUcmVhZGVycmVjb21tZW5kLmFzcHgADOivu+iAheiNkOi0rWQCBg9kFgJmDxUDE292ZXJkdWVib29rc19mLmFzcHgADOaPkOmGkuacjeWKoWQCBw9kFgJmDxUDEnVzZXIvdXNlcmluZm8uYXNweAAP5oiR55qE5Zu+5
 
Lmm6aaGZAIID2QWAmYPFQMbaHR0cDovL2xpYnJhcnkuZ2R1dC5lZHUuY24vAA/lm77kuabppobpppbpobVkAgkPZBYCAgEPFgIeB1Zpc2libGVoZAIDDxYCHwJmZAIBD2QWBAIDD2QWBAIBDw9kFgIeDGF1dG9jb21wbGV0ZQUDb2ZmZAIHDw8WAh8BZWRkAgUPZBYGAgEPEGRkFgFmZAIDDxBkZBYBZmQCBQ8PZBYCHwQFA29mZmQCBQ8PFgIfAQWlAUNvcHlyaWdodCAmY29weTsyMDA4LTIwMDkuIFNVTENNSVMgT1BBQyA0LjAxIG9mIFNoZW56aGVuIFVuaXZlcnNpdHkgTGlicmFyeS4gIEFsbCByaWdodHMgcmVzZXJ2ZWQuPGJyIC8+54
 
mI5p2D5omA5pyJ77ya5rex5Zyz5aSn5a2m5Zu+5Lmm6aaGIEUtbWFpbDpzenVsaWJAc3p1LmVkdS5jbmRkZAg1DiqmaepeeQ7Rw6kLdb3ah3tb
__EVENTVALIDATION:/wEWBQKNu6LYBwKOmK5RApX9wcYGAsP9wL8JAqW86pcI3FE0WSxHMScWQc3QHyrMix/0xmM=
ctl00$ContentPlaceHolder1$txtlogintype:0
ctl00$ContentPlaceHolder1$txtUsername_Lib:賬號
ctl00$ContentPlaceHolder1$txtPas_Lib:密碼
ctl00$ContentPlaceHolder1$btnLogin_Lib:登入
①在登陸介面（http://222.200.122.171:7771/login.aspx）尋找POST引數：
<input name="__EVENTTARGET" id="__EVENTTARGET" value="" type="hidden">
<input name="__EVENTARGUMENT" id="__EVENTARGUMENT" value="" type="hidden">
<input name="__VIEWSTATE" id="__VIEWSTATE" value="/wEPDwULLTE0MjY3MDAxNzcPZBYCZg9kFgoCAQ8PFgIeCEltYWdlVXJsBRt+XGltYWdlc1xoZWFkZXJvcGFjNGdpZi5naWZkZAICDw8WAh4EVGV4dAUt5bm/5Lic5bel5Lia5aSn5a2m5Zu+5Lmm6aaG5Lmm55uu5qOA57Si57O757ufZGQCAw8PFgIfAQUcMjAxNuW5tDEy5pyIMTPml6UgIOaYn+acn+S6jGRkAgQPZBYEZg9kFgQCAQ8WAh4LXyFJdGVtQ291bnQCCBYSAgEPZBYCZg8VAwtzZWFyY2guYXNweAAM55uu5b2V5qOA57SiZAICD2QWAmYPFQMTcGVyaV9uYXZfY2xhc3MuYXNweAAM5YiG57G75a+86IiqZAIDD2QWAmYPFQMOYm9va19yYW5rLmFzcHgADOivu+S5puaMh+W8lWQCBA9kFgJmDxUDCXhzdGIuYXNweAAM5paw5Lmm6YCa5oqlZAIFD2QWAmYPFQMUcmVhZGVycmVjb21tZW5kLmFzcHgADOivu+iAheiNkOi0rWQCBg9kFgJmDxUDE292ZXJkdWVib29rc19mLmFzcHgADOaPkOmGkuacjeWKoWQCBw9kFgJmDxUDEnVzZXIvdXNlcmluZm8uYXNweAAP5oiR55qE5Zu+5Lmm6aaGZAIID2QWAmYPFQMbaHR0cDovL2xpYnJhcnkuZ2R1dC5lZHUuY24vAA/lm77kuabppobpppbpobVkAgkPZBYCAgEPFgIeB1Zpc2libGVoZAIDDxYCHwJmZAIBD2QWBAIDD2QWBAIBDw9kFgIeDGF1dG9jb21wbGV0ZQUDb2ZmZAIHDw8WAh8BZWRkAgUPZBYGAgEPEGRkFgFmZAIDDxBkZBYBZmQCBQ8PZBYCHwQFA29mZmQCBQ8PFgIfAQWlAUNvcHlyaWdodCAmY29weTsyMDA4LTIwMDkuIFNVTENNSVMgT1BBQyA0LjAxIG9mIFNoZW56aGVuIFVuaXZlcnNpdHkgTGlicmFyeS4gIEFsbCByaWdodHMgcmVzZXJ2ZWQuPGJyIC8+54mI5p2D5omA5pyJ77ya5rex5Zyz5aSn5a2m5Zu+5Lmm6aaGIEUtbWFpbDpzenVsaWJAc3p1LmVkdS5jbmRkZAg1DiqmaepeeQ7Rw6kLdb3ah3tb" type="hidden">
<input type="hidden" name="__EVENTVALIDATION" id="__EVENTVALIDATION" value="/wEWBQLL+rWqAwKOmK5RApX9wcYGAsP9wL8JAqW86pcI3+ohGVVAcOzsnECPPKNYB0mRpZ0=">
<input name="ctl00$ContentPlaceHolder1$txtlogintype" type="hidden" id="ctl00_ContentPlaceHolder1_txtlogintype" value="0">
<input name="ctl00$ContentPlaceHolder1$btnLogin_Lib" value="登入" onclick="javascript:WebForm_DoPostBackWithOptions(new WebForm_PostBackOptions(&quot;ctl00$ContentPlaceHolder1$btnLogin_Lib&quot;, &quot;&quot;, true, &quot;&quot;, &quot;&quot;, false, false))" id="ctl00_ContentPlaceHolder1_btnLogin_Lib" class="btn" type="submit">
②其中：
ctl00$ContentPlaceHolder1$txtUsername_Lib是登陸賬號
ctl00$ContentPlaceHolder1$txtPas_Lib是密碼

2.編寫程式
2.1建立myproject的Scrapy工程（參考）
2.2編寫\myproject\myproject\spiders\LoginSpider.py

# -*- coding:utf-8 -*-
import scrapy
import re

class LoginSpider(scrapy.Spider):
    name = 'login'
    start_urls = ['http://222.200.122.171:7771/login.aspx']

    def parse(self, response):
        print 'befor_login============'
        pattern = re.compile(
                        'id="__EVENTTARGET" value="(.*?)"' +
                         '.*?' + 
                        'id="__EVENTARGUMENT" value="(.*?)"' +
                        '.*?' + 
                        'id="__VIEWSTATE" value="(.*?)"' +
                        '.*?' + 
                        'id="__EVENTVALIDATION" value="(.*?)"'+
                        '.*?' + 
                        'id="ctl00_ContentPlaceHolder1_txtlogintype" value="(.*?)"' +
                        '.*?' + 
                        'name="ctl00\$ContentPlaceHolder1\$btnLogin_Lib" value="(.*?)"'
                        ,re.S)
        items = re.findall(pattern,response.body.decode(response.encoding))
        print ("lin len: %d"%(len(items)))
        for item in items:         
            print ("lin __EVENTTARGET: %s"      %(item[0]))
            print ("lin __EVENTARGUMENT: %s"    %(item[1]))
            print ("lin __VIEWSTATE: %s"        %(item[2]))
            print ("lin __EVENTVALIDATION: %s"  %(item[3]))
            print ("lin ctl00_ContentPlaceHolder1_txtlogintype: %s"  %(item[4]))
            print ("lin ctl00$ContentPlaceHolder1$btnLogin_Lib: %s"  %(item[5]))

            yield scrapy.FormRequest.from_response(
            response,
            formdata={
                    '__EVENTTARGET': item[0],
                    '__EVENTARGUMENT': item[1],
                    '__VIEWSTATE': item[2],
                    '__EVENTVALIDATION': item[3],
                    'ctl00$ContentPlaceHolder1$txtlogintype': item[4],
                    'ctl00$ContentPlaceHolder1$txtUsername_Lib': 賬號,
                    'ctl00$ContentPlaceHolder1$txtPas_Lib': 密碼,
                    'ctl00$ContentPlaceHolder1$btnLogin_Lib': item[5]},
            callback=self.after_login
            )

    def after_login(self, response):
        print 'after_login============'

        #查詢網址的Cookie
        #請求Cookie
        Cookie = response.request.headers.getlist('Cookie')
        print 'Cookie',Cookie       
        #響應Cookie
        Cookie = response.headers.getlist('Set-Cookie')
        print 'Set-Cookie',Cookie

        #列印原始資料
        print response.body.decode(response.encoding) 
        #可以自定義Item進行資料處理

2.3設定\myproject\myproject\settings.py

# 自動傳遞cookies與列印cookies設定
# Disable cookies (enabled by default)  
COOKIES_ENABLED = True
COOKIES_DEBUG = True

2.4執行工程
這裡寫圖片描述
3.總結
3.1正則表示式注意特殊符號需要使用轉義符號，如：$。
3.2獲取Cookie值方法可在Scrapy框架原始碼中尋找到，使用Notepad++（一般編輯器都有這個搜尋功能）在Scrapy框架原始碼資料夾（如：C:\Users\lin\AppData\Local\Temp\pip-build-jm266e\Scrapy\scrapy）中搜索字串Sending cookies或Received cookies即可。
這裡寫圖片描述
3.3 Python爬蟲之自動登入與驗證碼識別
（http://blog.csdn.net/tobacco5648/article/details/50640691）

相關推薦

[Scrapy]模擬登陸並獲取Cookie值

1.分析登陸網址的方式 1.1使用Firefox或者Chrom瀏覽器F12，以Firefox登陸廣工圖書館為例（該網址設計使用Cookie來記錄登陸狀態） 1.2登陸前 1.3登陸後 1.4根據登陸後可見POST方法的引數 __EVENTT

使用httpclient4.3.X模擬post請求登陸網站獲取cookie資訊的操作

             眾所周知，httpclient可以模擬登陸操作，下面我就來個例項測試一下，順便也回憶下這個開源工具的使用，直接上例子吧！ package com.pyc.search.crawler.node.login; import java.io.IO

selenium栗子之登陸網站並獲取cookie

測試網站（航天雲網）： http://cas.casicloud.com/loginservice=http%3A%2F%2Fin.casicloud.com%2Floginc%3Fservice%3D%252Fsso%252Flogin.jsp%253Fredirect%

iOS原生請求獲取Cookie值

header share httpurl logs fields head working cache net 1 //創建URL 2 NSURL * url = [NSURL URLWithString:@"http://api.skyfox.or

java後臺發送請求並獲取返回值

otto wid eight quest 所有 ica 輸出流 lds thead 項目中需要前端發送請求給後端,而後端需要從另一個平臺中取數據然後再透傳給前端,通過下述代碼將其實現.在此記錄一下.package com.autotest.utils;import java

scrapy模擬登陸小例子

com rap wow64 for apple 模擬 spider log pri # -*- coding: utf-8 -*- import scrapy from scrapy.http import Request,FormRequest class Iqian

運維學python之爬蟲高級篇（六）scrapy模擬登陸

markdown inux ins com 是否 準備 配置 獲取圖片 con 上一篇介紹了如何爬取豆瓣TOP250的相關內容，今天我們來模擬登陸GitHub。 1 環境配置 語言：Python 3.6.1 IDE： Pycharm 瀏覽器：firefox 抓包工具：fi

Java調用Python腳本並獲取返回值

enum 獲取 error code adt catch sys.argv AI oot 在Java程序中有時需要調用Python的程序，這時可以使用一般的PyFunction來調用python的函數並獲得返回值，但是采用這種方法有可能出現一些莫名其妙的錯誤，比如Impor

Python爬蟲學習筆記之模擬登陸並爬去GitHub

過程 eight res 開發者工具 @value clas 之前 自己 8.0 (1)環境準備: 請確保已經安裝了requests和lxml庫 (2)分析登陸過程: 首先要分析登陸的過程，需要探究後臺的登陸請求是怎樣發送的，登陸之後又有怎樣的

django設定並獲取cookie/session，檔案上傳，ajax接收檔案，post/get請求及跨域請求等的方法

django設定並獲取cookie/session，檔案上傳，ajax接收檔案等的方法： views.py檔案： from django.shortcuts import render,HttpResponse,redirect import datetime import json from

form+iframe+file 頁面無重新整理上傳檔案並獲取返回值

<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <title>Title</title></head><body><but

Yii2.0呼叫sql server儲存過程並獲取返回值

1、首先展示建立sql server儲存過程的語句，建立一個簡單的儲存過程，測試用。 1 SET ANSI_NULLS ON 2 GO 3 SET QUOTED_IDENTIFIER ON 4 GO 5 6 CREATE PROCEDURE [dbo].[register_info]

Python彈出輸入框並獲取輸入值

使用自帶的Tkinter模組，簡單的彈輸入框示例，返回輸入值 from Tkinter import * import tkMessageBox def getInput(): def

SpringMVC(十一) RequestMapping獲取Cookie值

可以在控制器方法中使用類似@CookieValue("JSESSIONID") String sessionID的方式，來獲取請求中的Cookie的值。   樣例控制器程式碼 package com.tiekui.springmvc.handlers; import

執行.exe檔案並獲取返回值（使用WinExec和system的區別）

最近，跟同學在寫一個介面，需要呼叫到已經release出來的.exe檔案，這其中就需要傳輸命令列引數並獲取返回值，雖然不是很複雜的一件事，但還是把找到的一些資料記錄下來，也許會給遇到相同疑問的朋友帶來一點方便。 一開始，我使用的是WinExec函式，百度一下呼叫.exe檔案

三十、scrapy模擬登陸

1. 回顧之前的模擬登陸的方法 1.1 requests模組是如何實現模擬登陸的？ - 直接攜帶cookies請求頁面 找url地址，傳送post請求儲存cookie 1.2 selenium是如何模擬登陸的？ 找到對應的input標籤，輸入文字點

scrapy 模擬登陸豆瓣

參考: https://blog.csdn.net/qq_37616069/article/details/80376807 # coding=utf-8 import scrapy class DoubanLogin(scrapy.Spider): name = 'douban'

三種scrapy模擬登陸方式

方法一：直接POST資料（比如需要登陸的賬戶資訊） 只要是需要提供崗位資料的，就可以用這種方法下面示例後的資料是賬戶密碼： import scrapy class Renren1Spider(scrapy.Spider): name = "renren1" allow

java反射動態給物件屬性賦值，並獲取屬性值

import java.lang.reflect.Field; import java.lang.reflect.Method; import java.text.SimpleDateFormat; import java.util.Date; impo

form上傳檔案並獲取返回值

 原理：頁面寫一個隱藏的iframe，form的target指向這個iframe，在iframe的load事件中獲取返回結果。 <!-- 上傳 --> <form action=""