2. 程式人生 > >Python爬蟲基礎(一）

Python爬蟲基礎(一）

阿新 • • 發佈：2018-11-10

最近在學習python，順便了解一下網路爬蟲，整理了一下爬蟲基礎（基於py2.7）：

獲取網頁資料的三種方法：

# encoding=utf-8

import urllib2

def download1(url):
    return urllib2.urlopen(url).read()
    # read()方法是預設獲取全部資料
    # read(100)方法是獲取前100個字元

def download2(url):
    return urllib2.urlopen(url).readlines()

def download3(url):
    response = urllib2.urlopen(url)
    while
 
 True:
        line = response.readline()
        if not line:
            break

        print line

url = "http://wwww.baidu.com"
print download3(url)

基於urllib2框架，這個比較簡單。

偽裝瀏覽器

現在很多網站為了防止資料被爬取，都使用了反爬蟲措施。為了在這種情況下能繼續使用爬蟲，目前所學有兩種方案：一是新增隨機的Header，二是使用框架進行模擬，其實意思都差不多。
新增隨機的header：

import urllib2


def
 
 download(url):
    # header = {"User-Agent": "User-Agent:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)"}
    header = {"User-Agent": "User-Agent: UCWEB7.0.2.37/28/999"}

    request = urllib2.Request(url=url, headers=header)
    # add another header
    request.add_header("name", "zhangsan"
 
)

    # open the request
    response = urllib2.urlopen(request)

    print "result:" + str(response.code)
    print  response.read()


download("http://www.baidu.com")

一般我們可以使用隨機數進行header的選取，就像上面的分別模擬了IE瀏覽器和手機UC瀏覽器進行訪問。當然了，網上有很多User-Agent，大家可以隨機選取一下，進行隨機模擬，下面是網上摘抄的一部分記錄，大家可以使用：

pcUserAgent = {
"safari 5.1 – MAC":"User-Agent:Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"safari 5.1 – Windows":"User-Agent:Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50",
"IE 9.0":"User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0);",
"IE 8.0":"User-Agent:Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)",
"IE 7.0":"User-Agent:Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)",
"IE 6.0":"User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)",
"Firefox 4.0.1 – MAC":"User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Firefox 4.0.1 – Windows":"User-Agent:Mozilla/5.0 (Windows NT 6.1; rv:2.0.1) Gecko/20100101 Firefox/4.0.1",
"Opera 11.11 – MAC":"User-Agent:Opera/9.80 (Macintosh; Intel Mac OS X 10.6.8; U; en) Presto/2.8.131 Version/11.11",
"Opera 11.11 – Windows":"User-Agent:Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11",
"Chrome 17.0 – MAC":"User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11",
"Maxthon":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Maxthon 2.0)",
"Tencent TT":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)",
"The World 2.x":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)",
"The World 3.x":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; The World)",
"sogou 1.x":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)",
"360":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)",
"Avant":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Avant Browser)",
"Green Browser":"User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)"
}

mobileUserAgent = {
"iOS 4.33 – iPhone":"User-Agent:Mozilla/5.0 (iPhone; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"iOS 4.33 – iPod Touch":"User-Agent:Mozilla/5.0 (iPod; U; CPU iPhone OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"iOS 4.33 – iPad":"User-Agent:Mozilla/5.0 (iPad; U; CPU OS 4_3_3 like Mac OS X; en-us) AppleWebKit/533.17.9 (KHTML, like Gecko) Version/5.0.2 Mobile/8J2 Safari/6533.18.5",
"Android N1":"User-Agent: Mozilla/5.0 (Linux; U; Android 2.3.7; en-us; Nexus One Build/FRF91) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Android QQ":"User-Agent: MQQBrowser/26 Mozilla/5.0 (Linux; U; Android 2.3.7; zh-cn; MB200 Build/GRJ22; CyanogenMod-7) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1",
"Android Opera ":"User-Agent: Opera/9.80 (Android 2.3.4; Linux; Opera Mobi/build-1107180945; U; en-GB) Presto/2.8.149 Version/11.10",
"Android Pad Moto Xoom":"User-Agent: Mozilla/5.0 (Linux; U; Android 3.0; en-us; Xoom Build/HRI39) AppleWebKit/534.13 (KHTML, like Gecko) Version/4.0 Safari/534.13",
"BlackBerry":"User-Agent: Mozilla/5.0 (BlackBerry; U; BlackBerry 9800; en) AppleWebKit/534.1+ (KHTML, like Gecko) Version/6.0.0.337 Mobile Safari/534.1+",
"WebOS HP Touchpad":"User-Agent: Mozilla/5.0 (hp-tablet; Linux; hpwOS/3.0.0; U; en-US) AppleWebKit/534.6 (KHTML, like Gecko) wOSBrowser/233.70 Safari/534.6 TouchPad/1.0",
"Nokia N97":"User-Agent: Mozilla/5.0 (SymbianOS/9.4; Series60/5.0 NokiaN97-1/20.0.019; Profile/MIDP-2.1 Configuration/CLDC-1.1) AppleWebKit/525 (KHTML, like Gecko) BrowserNG/7.1.18124",
"Windows Phone Mango":"User-Agent: Mozilla/5.0 (compatible; MSIE 9.0; Windows Phone OS 7.5; Trident/5.0; IEMobile/9.0; HTC; Titan)",
"UC":"User-Agent: UCWEB7.0.2.37/28/999",
"UC standard":"User-Agent: NOKIA5700/ UCWEB7.0.2.37/28/999",
"UCOpenwave":"User-Agent: Openwave/ UCWEB7.0.2.37/28/999",
"UC Opera":"User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; ) Opera/UCWEB7.0.2.37/28/999"
}

第二種方法，可以使用selenium網路測試框架，進行遠端訪問，簡單程式碼如下：

import selenium   #網路測試框架
import selenium.webdriver   #模擬瀏覽器訪問

def getJobNumberByName(name):
     target_url = "http://www.baidu.com"
     driver = selenium.webdriver.Chrome()  # 模擬瀏覽器請求,
     driver.get(target_url)  # 模擬訪問連線
     page_source = driver.page_source  # 獲取網頁資訊
     print page_source

selenium可以檢視這裡簡介，它會呼叫OS上的瀏覽器driver，如果沒有相應的配置，則會報下面的錯誤：
這裡寫圖片描述
如果你使用的webdriver.Chrome(),那麼需要一個chromedriver，可以下載解壓，獲取地址，更改程式碼為：

driver = selenium.webdriver.Chrome(chrom_driver_path) # 模擬瀏覽器請求,

編碼統一

主要涉及到是中文傳輸，中文在傳輸的過程中如果不採取編碼，那麼伺服器接受到的內容將會是亂碼。編碼方式如下：

import urllib
words = {"name":"zhangsan","address":"上哈"}

print urllib.urlencode(words)  #url編碼
print  urllib.unquote(urllib.urlencode(words)) #url解碼

get/post請求

get與post請求主要是引數的傳遞方式不同，get直接在url後面新增引數，而post則將引數封裝在請求體中。
使用python的flask框架建立一個簡單的server：

app = Flask(__name__)

@app.route('/')
def hello_world():
    return 'Hello World!'

@app.route("/login", methods=["POST"])
def login():
    name = request.form.to_dict().get("name", "")
    age = request.form.to_dict().get("age", "")
    return name + "-------" + age

@app.route("/query", methods=["GET"])
def query():
    age = request.args.get("age", "")
    return "this age is " + age


if __name__ == '__main__':
    app.run(
        "127.0.0.1",
        port=8090
    )

那麼get請求為：

import  urllib2

words = {"age" : "23"}
request = urllib2.Request(url="http://127.0.0.1:8090/query?" + urllib.urlencode(words))
response = urllib2.urlopen(request)

print response.read()

post請求為：

import urllib2

info = {"name":"Tom張","age":"20"}
info = urllib.urlencode(info)  # 這是也需要進行url編碼

request = urllib2.Request("http://127.0.0.1:8090/login")
request.add_data(info)
response = urllib2.urlopen(request)

print response.read()

圖片下載

import urllib

urllib.urlretrieve(圖片原始地址,圖片本地儲存地址)

代理與本地代理

多個爬蟲使用單個ip時，如果此時IP地址被禁止，那爬蟲就沒法正常工作了，所以這也衍生了不少生態鏈，某寶上搜索”vps“等關鍵字,可以看到各種專業代理，如下圖：
這裡寫圖片描述

當然我們可以使用免費的代理：[代理更新時間為18年4月21號 16點14分]

https://www.kuaidaili.com/free/  ## 快代理
http://www.xicidaili.com/        ## 西刺代理

這裡寫圖片描述

python程式碼使用代理為：

import urllib2

http_proxy = urllib2.ProxyHandler({"http":"117.90.3.126:9000"})  #代理ip與埠
opener     = urllib2.build_opener(http_proxy)
request    = urllib2.Request("http://www.baidu.com")
response   = opener.open(request)

print response.read()

重定向

1.判斷url是否被重定向了：

import urllib2


# 判斷url是否重定向了
 def url_is_redirect(url):
   response = urllib2.urlopen(url)
   return response.geturl() != url

print url_is_redirect("http://www.baidu.cn")

2.如果是重定向，那我們需要獲取新的地址：

class RedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_302(self, req, fp, code, msg, headers):
        res = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
        res.status = code             # 返回的編碼
        res.newurl = res.geturl()     # 當前的URL
        print res.newurl, res.status  # 檢視重定向url
        return res

opener = urllib2.build_opener(RedirectHandler)
opener.open("http://www.baidu.cn")

cookie相關

網頁的關聯性獲取，需要用到cookie。
1.cookie的獲取：

# encoding=utf-8
import urllib2
import cookielib

#create a cookie object
cookie = cookielib.CookieJar()
#get the cookie
header = urllib2.HTTPCookieProcessor(cookie)
#deal the cookie
opener = urllib2.build_opener(header)

response = opener.open("http://www.baidu.com")

for data in cookie :
    print data.name + "--" + data.value + "\r"

獲取的結果為：

BAIDUID--2643F48FC95482FF4ECAD2EBC7DBE11E:FG=1
BIDUPSID--2643F48FC95482FF4ECAD2EBC7DBE11E
H_PS_PSSID--1466_21088_18560_22158
PSTM--1524360190
BDSVRTM--0
BD_HOME--0

2.cookie的讀取：

# encoding=utf-8

import urllib2
import cookielib

file_path = "cookie.txt"
cookie = cookielib.LWPCookieJar(file_path)  # 設定路徑
header = urllib2.HTTPCookieProcessor(cookie)  # 設定cookie,與網站有關
opener = urllib2.build_opener(header)
response = opener.open("http://www.baidu.com")

cookie.save(ignore_expires=True, ignore_discard=True)

執行之後，cookie.txt將會存入我們的cookie檔案

基本上就這些差不多了，剩下的慢慢再上來更新吧。

相關推薦

Python爬蟲基礎(一）

最近在學習python，順便了解一下網路爬蟲，整理了一下爬蟲基礎（基於py2.7）： 獲取網頁資料的三種方法： # encoding=utf-8 import urllib2 def download1(url): return urllib2.urlopen(url

零基礎入門Python爬蟲（一）

閱讀本篇大概需要 4 分鐘。前言很多人都或多或少聽說過 Python 爬蟲，我也一直很感興趣，所

Python爬蟲（一）：基本概念

popu 通用 字符 spider dai 自身 部分 螞蟻 people 網絡爬蟲的定義 網絡爬蟲（Web Spider。又被稱為網頁蜘蛛。網絡機器人，又稱為網頁追逐者），是一種依照一定的規則，自己主動的抓取萬維網信息的程序或者腳本。另外一些不常使用

python爬蟲（一）

返回 沒有 發現 學習內容 部分 訪問 family 司機 獲得 1.首先你需要一些Python的基礎知識和相關的開發環境，沒有相關基礎的同學推薦可以先去網易雲的Mooc觀看學習相關教程 2.什麽是網絡爬蟲？ 　　我們上網會在瀏覽器中輸入連接，然後服務器會返回給我們相關的信

python 爬蟲（一） requests+BeautifulSoup 爬取簡單網頁代碼示例

utf-8 bs4 rom 文章 都是 Coding man header 文本 以前搞偷偷摸摸的事，不對，是搞爬蟲都是用urllib，不過真的是很麻煩，下面就使用requests + BeautifulSoup 爬爬簡單的網頁。 詳細介紹都在代碼中註釋了，大家可以參閱。

自學Python爬蟲（一）認識爬蟲

1、爬蟲的概念 這裡就不解析了，可自行百度 拋連結： https://baike.baidu.com/item/%E7%BD%91%E7%BB%9C%E7%88%AC%E8%99%AB/5162711?fr=aladdin 2、爬蟲的基本流程 2.1發起請求 通過HTTP

Python爬蟲（一）：編寫簡單爬蟲之新手入門

最近學習了一下python的基礎知識，大家一般對“爬蟲”這個詞，一聽就比較熟悉，都知道是爬一些網站上的資料，然後做一些操作整理，得到人們想要的資料，但是怎麼寫一個爬蟲程式程式碼呢？相信很多人是不會的，今天寫一個針對新手入門想要學習爬蟲的文章，希望對想要學習的你能有所幫助~~廢話不多說，進入正文！

Python爬蟲基礎 | (一)爬蟲基本庫的使用

本篇部落格所有示例使用Jupyter NoteBook演示。 Python爬蟲基礎系列筆記基於：Python3網路爬蟲開發實戰-崔慶才  下載密碼：wuuc 示例程式碼  下載密碼:02f4   目錄 一、簡介 二、使用urllib

python爬蟲（一）---智聯招聘實戰

智聯校園招聘資料爬取 1 本次實驗只爬取一頁內容，適合入門學習xpath，excel檔案寫入。 2 url =‘https://xiaoyuan.zhaopin.com/full/538/0_0_160000_1_0_0_0_1_0’ 3 結尾會附上全部程式碼 大神請繞過本部落格

python爬蟲（一）--------selenium+python+PhantomJS的使用

　　最近爬取相關網站時，發現沒有找到js包的地址，我就採用selenium來爬取資訊，相關實戰連結：python爬蟲實戰（一）--------中國作物種質資訊網 一、Selenium介紹 　　Selenium 是什麼？一句話，自動化測試工具。它支援各種瀏覽器，包括 Chr

Python 爬蟲入門(一）

想要從網頁上爬取資料就必須先知道網頁的構成，一般來說網頁分為兩個部分：一個是html，一個是css，html是網頁的整體構造，相當於未裝修的房子，而css是網頁的樣式表，相當於房子的裝修。 而後便是解析網頁，想要解析網頁只需要在瀏覽器中點選滑鼠右鍵，檢查或檢視網頁原始碼即可。

python 爬蟲（一）urllib使用demo

import urllib.request #向指定的url地址發起請求，並返回伺服器響應的資料（檔案的物件） response = urllib.request.urlopen("http://www.baidu.com") #直接將檔案寫入指定路徑， filePath = r"C:/Use

Python 爬蟲（一）綜述

開始爬蟲之前先看看這些來打個底吧~ 1.首先，什麼是爬蟲呢？ 爬蟲（spider），可以理解為在網路上爬行的一隻蜘蛛，爬蟲在網際網路這張網上爬來爬去地找資源，如果它遇到想要的資源，就會把它抓取下來。至於什麼資源是想要的抓取的？這個由你來控制它咯。 概括來說

python爬蟲（一）爬取豆瓣電影Top250

提示：完整程式碼附在文末 一、需要的庫           requests：獲得網頁請求           BeautifulSoup：處理資料，獲得所需要的資料 二、爬取豆瓣電影Top250           爬取內容為：豆瓣評分前二百五位電影的名字、主演、

python爬蟲（一）urllib庫基本使用

注，以下內容均為python3.5.*程式碼 學習爬蟲，首先有學會使用urllib庫，這個庫可以方便的使我們解析網頁的內容，本篇講一下它的主要用法 解析網頁 #!/usr/bin/env python3 # coding=utf-8 import u

python爬蟲（一）Urllib使用

爬蟲介紹 網路爬蟲就是一個爬行程式，一個抓取網頁的程式。網路爬蟲的基本操作是抓取網頁，但爬蟲概念包括抓取和資料解析兩個部分。 爬蟲是通過網頁的連結地址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後通過這些連

Python爬蟲基礎(一)--簡單的url請求

#encoding:UTF-8 import urllib import urllib.request # data是一個字典，然後通過urllib.parse.urlencode()將data轉換為

Python爬蟲（一）--城市公交網路站點資料的爬取

作者：WenWu_Both 出處：http://blog.csdn.net/wenwu_both/article/ 版權：本文版權歸作者和CSDN部落格共有 轉載：歡迎轉載，但未經作者同意，必須保留此段聲 必須在文章中給出原文連結；否則必究法律責任

python爬蟲（一）BeautifulSoup簡介

BeautifulSoup庫的名字取自劉易斯·卡羅爾在《愛麗絲漫遊仙境》裡的同名詩歌。BeautifulSoup通過定位HTML標籤來格式化和組織複雜的網路資訊，用簡單易用的python物件展現XML結構資訊。 一、安裝Beautifulsoup 1、win

Python爬蟲（一）：爬蟲偽裝

1 簡介 對於一些有一定規模或盈利性質比較強的網站，幾乎都會做一些防爬措施，防爬措施一般來說有兩種：一種是做身份驗證，直接把蟲子擋在了門口，另一種是在網站設定各種反爬機制，讓蟲子知難而返。 2 偽裝策略 我們知道即使是一些規模很小的網站通常也會對來訪者的身份做一下檢查，如驗證請求 Headers，而對於