1. 程式人生 > >Python爬蟲入門—DebugLog

Python爬蟲入門—DebugLog

Python爬蟲入門<五>——DebugLog

標籤:DebugLog

DebugeLog

1.首先,我們先先來了解一下DebugLog是什麼?
我們經常說的BUG就是錯誤,Debug就是除錯錯誤,LOG代表日誌,所以,,,DebugLog就是除錯日誌,這個可以幫助我們在執行程式的過程中列印日誌,接下來,我們就開始開啟DebugLog:
1.使用urllib.request.HTTPHandler()和urllib.request.HTTPSHandler()將debuglevel是指為1;
2.使用urllib.request.build_opener()建立自定義opener物件,使用1中的值作為物件的引數
3.urllib.request.install_opener()建立全域性預設的opener物件,我們使用urlopen()的時候,就會使用opener物件。
4.繼續後面操作
程式碼:

import urllib.request

httphd = urllib.request.HTTPHandler(debuglevel=1)
httpshd = urllib.request.HTTPSHandler(debuglevel=1)

opener = urllib.request.build_opener(httphd,httpshd)
urllib.request.install_opener(opener)
data = urllib.request.urlopen("http://www.baidu.com")

結果:

C:\Users\Administrator\
PycharmProjects\untitled2\venv\Scripts\python.exe F:/python/python程式碼/venv/python入門五.py send: b'GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nUser-Agent: Python-urllib/3.6\r\nConnection: close\r\n\r\n' reply: 'HTTP/1.1 200 OK\r\n' header: Date header: Content-Type header: Transfer-Encoding
header: Connection header: Vary header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: P3P header: Cache-Control header: Cxy_all header: Expires header: X-Powered-By header: Server header: X-UA-Compatible header: BDPAGETYPE header: BDQID header: BDUSERID Process finished with exit code 0

說明日誌正在列印,DebugLog成功開啟了

相關推薦

Python爬蟲入門DebugLog

Python爬蟲入門<五>——DebugLog 標籤:DebugLog DebugeLog 1.首先,我們先先來了解一下DebugLog是什麼? 我們經常說的BUG就是錯誤,D

python爬蟲入門-Scrapy的安裝

命令 集成 ssl tool sta python2 執行 成功 pytho 下載集成包鏈接:http://pan.baidu.com/s/1pKD2zBP 密碼:f75b因為沒有支持python3的Scrapy,所以這裏采用python2.7.9安裝步驟:1.安裝pyth

Python爬蟲入門一之綜述

復用 智能 實現 進一步 -a web 蜘蛛 urllib 機器 首先爬蟲是什麽? 網絡爬蟲(又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動的抓取萬維網信息的程序或者腳本。 根據我的經驗,要學習Python爬蟲,我們要

Python爬蟲入門三之Urllib庫的基本使用

res 瀏覽器中 必須 答案 文件的 網頁 one .com 屏幕截圖 1.分分鐘扒一個網頁下來 怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它是一段HTML代碼,加 JS、CSS

Python爬蟲入門

spa 描述 www. 對象 根據 url get pcl res 一. from urllib import requestres=request.urlopen(‘https://www.douban.com‘)data = res.read()print(data.d

6.Python爬蟲入門六之Cookie的使用

expires cookielib spa result hat 即使 card rec 其他 大家好哈,上一節我們研究了一下爬蟲的異常處理問題,那麽接下來我們一起來看一下Cookie的使用。 為什麽要使用Cookie呢? Cookie,指某些網站為了辨別用戶身份、進行se

Python爬蟲入門:Urllib庫的基本使用

logs 模擬 第一個 tps 出了 訪問方式 post方式 %d 一段 1.分分鐘扒一個網頁下來 怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它 是一段HTML代碼,加 JS、

python 爬蟲入門之正則表達式 一

簡單 換行 find www. ever page oct search utf python 正則表達式知識點正則 常用符號. : 匹配任意字符,換行符除外* : 匹配前一個字符 0 次或者無限次? : 匹配前一個字符 0次或者1次.* : 貪心算法.*? :非貪心算

Python爬蟲入門 | 1 Python環境的安裝

Python這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~ 話不多說,正式開始我們的第一節課《Python環境的安裝》吧~ 啦啦啦開課啦,看黑板

Python爬蟲入門 | 爬取豆瓣電影信息

Python 編程語言 web開發這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~好啦,正式開始我們的第二節課《爬取豆瓣電影信息》吧!啦啦哩啦啦,

Python爬蟲入門 | 3 爬蟲必備Python知識

Python Python入門 Pyth這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~ 好啦,正式開始我們的第三節課《爬蟲必備Python知識》

Python爬蟲入門 | 4 爬取豆瓣TOP250圖書信息

Python 編程語言 Python爬蟲先來看看頁面長啥樣的:https://book.douban.com/top250 我們將要爬取哪些信息:書名、鏈接、評分、一句話評價……1. 爬取單個信息我們先來嘗試爬取書名,利用之前的套路,還是先復制書名的xpath:得到第一本書《追風箏的人》的書名xpath如下:

Python爬蟲入門 | 5 爬取小豬短租租房信息

圖片 交流 ffffff 信息 jpg http 而已 基本 mat 小豬短租是一個租房網站,上面有很多優質的民宿出租信息,下面我們以成都地區的租房信息為例,來嘗試爬取這些數據。 小豬短租(成都)頁面:http://cd.xiaozhu.com/1.爬取租房標題 按照慣例,

Python爬蟲入門 | 6 將爬回來的數據存到本地

文件的 href 存儲 有一個 快捷 pac lse tab play 1.用Python語句存儲數據寫文件時,我們主要用到 with open() 語句:with open(name,mode,encoding) as file: file.write() # 註

Python 爬蟲入門(一)——爬取糗百

upa ext win comment 地址 odi 批量 爬蟲程序 article 爬取糗百內容 GitHub 代碼地址https://github.com/injetlee/Python/blob/master/qiubai_crawer.py 微信公眾號:【智能制造專

Python 爬蟲入門之爬取妹子圖

Python 爬蟲入門之爬取妹子圖 來源:李英傑  連結: https://segmentfault.com/a/1190000015798452   聽說你寫程式碼沒動力?本文就給你動力,爬取妹子圖。如果這也沒動力那就沒救了。   GitHub 地址:&

Python爬蟲入門級別的三個案例教程

貼吧爬取 寫程式碼前,構思需要的功能塊;寫程式碼時,把各個功能模組名提前寫好 初始化 初始化必要引數,完成基礎設定 爬取百度貼吧lol吧:爬取地址中的get引數須傳遞(可以指定不同主題的貼吧和頁碼) 主題名 初始網址 請求頭 生成網址 生成每一頁的

使用代理訪問百度網站 ProxyHandler python 爬蟲 入門

python 使用代理訪問百度網站 ProxyHandler 爬蟲 ''' 使用代理訪問百度網站 -ProxyHandler處理(代理伺服器) -使用代理伺服器,是爬蟲的常用手段 -獲取代理伺服器的地址: -www.xicidaili.com

Python爬蟲入門實戰系列(一)--爬取網路小說並存放至txt檔案

執行平臺: Windows  Python版本: Python3.x  一、庫檔案                      

python 爬蟲 入門 commit by commit -- commit1

"每一個commit都是程式設計師的心酸,哦不,心路歷程的最好展示。" -- by 我自己 最近寫好了一組文章,來這裡,當然一如我以前一樣,主要是宣傳。但是,最近發現gitbook老是掛掉,除了宣傳,我覺得,在這裡全部貼一遍,這樣就算是gitbook那邊不穩定,至少這裡還能看到。不過說實話,如果有興趣的話,