Python爬蟲入門—DebugLog
Python爬蟲入門<五>——DebugLog
標籤:DebugLog
DebugeLog
1.首先,我們先先來了解一下DebugLog是什麼?
我們經常說的BUG就是錯誤,Debug就是除錯錯誤,LOG代表日誌,所以,,,DebugLog就是除錯日誌,這個可以幫助我們在執行程式的過程中列印日誌,接下來,我們就開始開啟DebugLog:
1.使用urllib.request.HTTPHandler()和urllib.request.HTTPSHandler()將debuglevel是指為1;
2.使用urllib.request.build_opener()建立自定義opener物件,使用1中的值作為物件的引數
3.urllib.request.install_opener()建立全域性預設的opener物件,我們使用urlopen()的時候,就會使用opener物件。
4.繼續後面操作
程式碼:
import urllib.request
httphd = urllib.request.HTTPHandler(debuglevel=1)
httpshd = urllib.request.HTTPSHandler(debuglevel=1)
opener = urllib.request.build_opener(httphd,httpshd)
urllib.request.install_opener(opener)
data = urllib.request.urlopen("http://www.baidu.com")
結果:
C:\Users\Administrator\ PycharmProjects\untitled2\venv\Scripts\python.exe F:/python/python程式碼/venv/python入門五.py
send: b'GET / HTTP/1.1\r\nAccept-Encoding: identity\r\nHost: www.baidu.com\r\nUser-Agent: Python-urllib/3.6\r\nConnection: close\r\n\r\n'
reply: 'HTTP/1.1 200 OK\r\n'
header: Date header: Content-Type header: Transfer-Encoding header: Connection header: Vary header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: Set-Cookie header: P3P header: Cache-Control header: Cxy_all header: Expires header: X-Powered-By header: Server header: X-UA-Compatible header: BDPAGETYPE header: BDQID header: BDUSERID
Process finished with exit code 0
說明日誌正在列印,DebugLog成功開啟了
相關推薦
Python爬蟲入門—DebugLog
Python爬蟲入門<五>——DebugLog 標籤:DebugLog DebugeLog 1.首先,我們先先來了解一下DebugLog是什麼? 我們經常說的BUG就是錯誤,D
python爬蟲入門-Scrapy的安裝
命令 集成 ssl tool sta python2 執行 成功 pytho 下載集成包鏈接:http://pan.baidu.com/s/1pKD2zBP 密碼:f75b因為沒有支持python3的Scrapy,所以這裏采用python2.7.9安裝步驟:1.安裝pyth
Python爬蟲入門一之綜述
復用 智能 實現 進一步 -a web 蜘蛛 urllib 機器 首先爬蟲是什麽? 網絡爬蟲(又被稱為網頁蜘蛛,網絡機器人,在FOAF社區中間,更經常的稱為網頁追逐者),是一種按照一定的規則,自動的抓取萬維網信息的程序或者腳本。 根據我的經驗,要學習Python爬蟲,我們要
Python爬蟲入門三之Urllib庫的基本使用
res 瀏覽器中 必須 答案 文件的 網頁 one .com 屏幕截圖 1.分分鐘扒一個網頁下來 怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它是一段HTML代碼,加 JS、CSS
Python爬蟲入門
spa 描述 www. 對象 根據 url get pcl res 一. from urllib import requestres=request.urlopen(‘https://www.douban.com‘)data = res.read()print(data.d
6.Python爬蟲入門六之Cookie的使用
expires cookielib spa result hat 即使 card rec 其他 大家好哈,上一節我們研究了一下爬蟲的異常處理問題,那麽接下來我們一起來看一下Cookie的使用。 為什麽要使用Cookie呢? Cookie,指某些網站為了辨別用戶身份、進行se
Python爬蟲入門:Urllib庫的基本使用
logs 模擬 第一個 tps 出了 訪問方式 post方式 %d 一段 1.分分鐘扒一個網頁下來 怎樣扒網頁呢?其實就是根據URL來獲取它的網頁信息,雖然我們在瀏覽器中看到的是一幅幅優美的畫面,但是其實是由瀏覽器解釋才呈現出來的,實質它 是一段HTML代碼,加 JS、
python 爬蟲入門之正則表達式 一
簡單 換行 find www. ever page oct search utf python 正則表達式知識點正則 常用符號. : 匹配任意字符,換行符除外* : 匹配前一個字符 0 次或者無限次? : 匹配前一個字符 0次或者1次.* : 貪心算法.*? :非貪心算
Python爬蟲入門 | 1 Python環境的安裝
Python這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~ 話不多說,正式開始我們的第一節課《Python環境的安裝》吧~ 啦啦啦開課啦,看黑板
Python爬蟲入門 | 爬取豆瓣電影信息
Python 編程語言 web開發這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~好啦,正式開始我們的第二節課《爬取豆瓣電影信息》吧!啦啦哩啦啦,
Python爬蟲入門 | 3 爬蟲必備Python知識
Python Python入門 Pyth這是一個適用於小白的Python爬蟲免費教學課程,只有7節,讓零基礎的你初步了解爬蟲,跟著課程內容能自己爬取資源。看著文章,打開電腦動手實踐,平均45分鐘就能學完一節,如果你願意,今天內你就可以邁入爬蟲的大門啦~ 好啦,正式開始我們的第三節課《爬蟲必備Python知識》
Python爬蟲入門 | 4 爬取豆瓣TOP250圖書信息
Python 編程語言 Python爬蟲先來看看頁面長啥樣的:https://book.douban.com/top250 我們將要爬取哪些信息:書名、鏈接、評分、一句話評價……1. 爬取單個信息我們先來嘗試爬取書名,利用之前的套路,還是先復制書名的xpath:得到第一本書《追風箏的人》的書名xpath如下:
Python爬蟲入門 | 5 爬取小豬短租租房信息
圖片 交流 ffffff 信息 jpg http 而已 基本 mat 小豬短租是一個租房網站,上面有很多優質的民宿出租信息,下面我們以成都地區的租房信息為例,來嘗試爬取這些數據。 小豬短租(成都)頁面:http://cd.xiaozhu.com/1.爬取租房標題 按照慣例,
Python爬蟲入門 | 6 將爬回來的數據存到本地
文件的 href 存儲 有一個 快捷 pac lse tab play 1.用Python語句存儲數據寫文件時,我們主要用到 with open() 語句:with open(name,mode,encoding) as file: file.write() # 註
Python 爬蟲入門(一)——爬取糗百
upa ext win comment 地址 odi 批量 爬蟲程序 article 爬取糗百內容 GitHub 代碼地址https://github.com/injetlee/Python/blob/master/qiubai_crawer.py 微信公眾號:【智能制造專
Python 爬蟲入門之爬取妹子圖
Python 爬蟲入門之爬取妹子圖 來源:李英傑 連結: https://segmentfault.com/a/1190000015798452 聽說你寫程式碼沒動力?本文就給你動力,爬取妹子圖。如果這也沒動力那就沒救了。 GitHub 地址:&
Python爬蟲入門級別的三個案例教程
貼吧爬取 寫程式碼前,構思需要的功能塊;寫程式碼時,把各個功能模組名提前寫好 初始化 初始化必要引數,完成基礎設定 爬取百度貼吧lol吧:爬取地址中的get引數須傳遞(可以指定不同主題的貼吧和頁碼) 主題名 初始網址 請求頭 生成網址 生成每一頁的
使用代理訪問百度網站 ProxyHandler python 爬蟲 入門
python 使用代理訪問百度網站 ProxyHandler 爬蟲 ''' 使用代理訪問百度網站 -ProxyHandler處理(代理伺服器) -使用代理伺服器,是爬蟲的常用手段 -獲取代理伺服器的地址: -www.xicidaili.com
Python爬蟲入門實戰系列(一)--爬取網路小說並存放至txt檔案
執行平臺: Windows Python版本: Python3.x 一、庫檔案
python 爬蟲 入門 commit by commit -- commit1
"每一個commit都是程式設計師的心酸,哦不,心路歷程的最好展示。" -- by 我自己 最近寫好了一組文章,來這裡,當然一如我以前一樣,主要是宣傳。但是,最近發現gitbook老是掛掉,除了宣傳,我覺得,在這裡全部貼一遍,這樣就算是gitbook那邊不穩定,至少這裡還能看到。不過說實話,如果有興趣的話,