1. 程式人生 > >python學習(3)Urllib庫的基本使用

python學習(3)Urllib庫的基本使用

Urllib是Python內建的HTTP請求庫
urllib.request 請求模組
urllib.error 異常處理模組
urllib.parse url解析模組
urllib.robotparser rebots.txt解析模組
用法:

>>> import urllib.request
>>> response=urllib.request.urlopen('http://www.baidu.com')
>>> print(response.read().decode('utf-8'
))
import urllib.request

response=urllib.request.urlopen('https://www.python.org')
print(type(response))

響應

響應型別
開啟cmd——>jupyter notebook

import urllib.request

response=urllib.request.urlopen('https://www.python.org')
print(type(response))

輸出為 <class 'http.client.HTTPResponse'>

狀態碼,響應頭

import urllib.request

response=urllib.request.urlopen('https://www.python.org')
print(response.status)
print(response.getheaders())
print(response.getheader('Server'))

輸出為

200
[(‘Server’, ‘nginx’), (‘Content-Type’, ‘text/html; charset=utf-8’), (‘X-Frame-Options’, ‘SAMEORIGIN’), (‘x-xss-protection’, ‘1; mode=block’), (‘X-Clacks-Overhead’, ‘GNU Terry Pratchett’), (‘Via’, ‘1.1 varnish’), (‘Content-Length’, ‘48806’), (‘Accept-Ranges’, ‘bytes’), (‘Date’, ‘Sun, 08 Jul 2018 06:45:33 GMT’), (‘Via’, ‘1.1 varnish’), (‘Age’, ‘2310’), (‘Connection’, ‘close’), (‘X-Served-By’, ‘cache-iad2127-IAD, cache-lax8643-LAX’), (‘X-Cache’, ‘HIT, HIT’), (‘X-Cache-Hits’, ‘3, 362’), (‘X-Timer’, ‘S1531032333.310203,VS0,VE0’), (‘Vary’, ‘Cookie’), (‘Strict-Transport-Security’, ‘max-age=63072000; includeSubDomains’)]
nginx
這裡寫圖片描述


request

import urllib.request

request=urllib.request.Request('https://python.org')
response =urllib.request.urlopen(request)
print(response.read().decode('utf-8'))

相關推薦

python學習3Urllib基本使用

Urllib是Python內建的HTTP請求庫 urllib.request 請求模組 urllib.error 異常處理模組 urllib.parse url解析模組 urllib.robotparser

python爬蟲urllib基本使用

注,以下內容均為python3.5.*程式碼 學習爬蟲,首先有學會使用urllib庫,這個庫可以方便的使我們解析網頁的內容,本篇講一下它的主要用法 解析網頁 #!/usr/bin/env python3 # coding=utf-8 import u

Python學習3—— 基本資料型別一:數字型別

基本資料型別一:數字型別 Python中最基本的資料型別之一就是int資料型別。 數字型別中有int、long 、float、complex。 python3.x之後已經不區分int和long,統一用int;python2.x還是區分的。 floa

python學習3--讀取配置文件

封裝 pri 配置文件 ret charm 127.0.0.1 os.path 關於 database 一、 關於配置文件 ini文件由三部分組成,分別為節、鍵、值。 節   [section] 參數(鍵=值)   name=value 註解   

Python學習3——高階特性

1、切片 (1)後10個數:L[-10:] (2)前10個數,每兩個取一個:L[:10:2] (3)倒序:L[::-1] https://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542

Python學習2—— 運算子與基本資料型別

運算子與基本資料型別 運算子有以下五種: 算數運算: 比較運算: 邏輯運算: 賦值運算: 成員運算: 以上圖片轉載來自:http://www.cnblogs.com/wupeiqi/ 。 基本資料型別認識 數字 (in

python學習3scrapy

Scrapy和MongoDB構建爬蟲系統 一)元件 1、Scrapy Engine(Scrapy引擎) Scrapy引擎是用來控制整個系統的資料處理流程,並進行事務處理的觸發。更多的詳細內容可以看下面的資料處理流程。 2、Scheduler(排程)

python學習3- If, while, break, contiune

1. If 控制語句 : 注意If 和 elif ,else後面的冒號。 age = 3 if age >= 18:     print('adult') elif age >= 6:     print('teenager

Python爬蟲Urllib的高階用法

1.設定Headers 有些網站不會同意程式直接用上面的方式進行訪問,如果識別有問題,那麼站點根本不會響應,所以為了完全模擬瀏覽器的工作,我們需要設定一些Headers 的屬性。 可以開啟Chrome瀏覽器,除錯瀏覽器F12,開啟網路監聽,嘗試登陸知乎,會發

Python 學習3——re模組

最近也用到了重新模組,內嵌的重新模組提供了正則表示式相關的功能。傳說中,正則表示式模式被編譯成一系列的位元組碼,然後由用Ç編寫的匹配引擎執行。 常用的方法如下: 模式:匹配的正則表達是 串:要匹配的字串 國旗:標識位 1:re.match(pattern,strin

Python爬蟲學習筆記——urllib的使用

scheme param https ade 網站 dmgr nor 分享圖片 out 前言 我買了崔慶才的《Python3網絡爬蟲開發實戰》,趁著短學期,準備系統地學習下網絡爬蟲。在學習這本書的同時,通過博客摘錄並總結知識點,同時也督促自己每日學習。本書第一章是開發環境的

python爬蟲從入門到放棄- Urllib基本使用方法1

Urllib 是Python自帶的標準庫,無需安裝,直接可以用。提供瞭如下功能:網頁請求響應獲取代理和cookie設定異常處理URL解析爬蟲所需要的功能,基本上在urllib中都能找到,學習這個標準庫,可以更加深入的理解後面更加便利的requests庫。-----------

python之爬蟲 Urllib基本使用

捕捉異常 .py bytes bin default onsite text ams out 官方文檔地址:https://docs.python.org/3/library/urllib.html 什麽是Urllib Urllib是python內置的HTTP請求庫包括

PYTHON設計模式學習3:Singleton pattern

blog ora 參考 擁有 沒有 _屬性 ces cti ttr 參考了其他的博客:http://ghostfromheaven.iteye.com/blog/1562618 #-*- encoding=utf-8 -*- print ‘--------------

web前端學習3:認識HTML基本標簽

鼠標 首頁 一份 格式 所在地 有著 同時 網上 今天 本章主旨:   介紹常用的文本相關標簽,如<h>,<p>,<a>;簡介常見的HTML標簽屬性,如title屬性,href屬性,id/class屬性等;重點掌握<a>標簽。

Python爬蟲學習3

collect nbsp pri div time urlparse links ews 是否 在慕課網學習並創建了一個簡單的爬蟲包,爬取百度百科相關詞條信息 程序中會用到第三方解析包(BeautifulSoup4),Windows環境下安裝命令:pip install B

Python 學習基本認識

python語句 clas return hello 文檔字符串 else 字符串 年齡 text 基礎知識 一 Python 標識符 在 Python 裏,標識符由字母、數字、下劃線組成。 在 Python 中,所有標識符可以包括英文、數字以及下劃線(_),但不能以數字

Python學習-常見問題3IndentationError: unindent does not match any outer indentation level

Python學習(二)-常見問題(3)IndentationError: unindent does not match any outer indentation level   以下程式碼最後一行語句縮排數的空格數不一致,會導致執行錯誤:   cat b.

神經網路學習3————BP神經網路以及python實現

一、BP神經網路結構模型                BP演算法的基本思想是,學習過程由訊號的正向傳播和誤差的反向傳播倆個過程組成,輸入從輸入層輸入,經隱層處理以後,傳向輸出層。如果輸出層的實際輸出和期望輸出不符合

Solidity語言學習3——智慧合約原始檔基本要素

合約類似面嚮物件語言中的類。 支援繼承 每個合約中可包含 狀態變數(state Variables),函式(function),函式修飾符(Function Modifiers),事件(Events),結構型別(Structs Types)和 列舉型別(Enum Types)