2. 程式人生 > >爬蟲之jupyter的使用，requests模塊，正則表達式，bs4

爬蟲之jupyter的使用，requests模塊，正則表達式，bs4

阿新 • • 發佈：2019-02-27
管理 2.0 數字 com start 敵人 windows har 自動

一.爬蟲

1.介紹

　　 爬蟲就是通過編寫程序模擬瀏覽器上網，然後讓其去互聯網上抓取數據的過程

2.分類

　　通用爬蟲： 通用爬蟲是搜索引擎（Baidu、Google、Yahoo等）“抓取系統”的重要組成部分

　　聚焦爬蟲：聚焦爬蟲是根據指定的需求抓取網絡上指定的數據。

3.反爬蟲

　　門戶網站通過相應的策略和技術手段，防止爬蟲程序進行網站數據的爬取。

4.反反爬蟲

　　 爬蟲程序通過相應的策略和技術手段，破解門戶網站的反爬蟲手段，從而爬取到相應的數據。

5.robots.txt協議

　　如果自己的門戶網站中的指定頁面中的數據不想讓爬蟲程序爬取到的話，那麽則可以通過編寫一個robots.txt的協議文件來約束爬蟲程序的數據爬取。

二.jupyter notebook的使用

1.介紹

　　Jupyter Notebook是以網頁的形式打開，可以在網頁頁面中直接編寫代碼和運行代碼，代碼的運行結果也會直接在代碼塊下顯示。如在編程過程中需要編寫說明文檔，可在同一個頁面中直接編寫，便於作及時的說明和解釋。

2.組成部分

　　網頁應用

　　文檔

3.特點

  1. 編程時具有語法高亮、縮進、tab補全的功能。

  2. 可直接通過瀏覽器運行代碼，同時在代碼塊下方展示運行結果。

  3. 對代碼編寫說明文檔或語句時，支持Markdown語法。

4.安裝

5.運行

　　默認端口啟動

　　在終端中輸入以下命令：

jupyter notebook

　　指定端口啟動

jupyter notebook --port <port_number>

　　啟動服務器但不打開瀏覽器

jupyter notebook --no-browser

6.快捷鍵的使用

  1. 向上插入一個cell：a
  2. 向下插入一個cell：b
  3. 刪除cell：x
  4. 將code切換成markdown：m
  5. 將markdown切換成code：y
  6. 運行cell：shift+enter
  7. 查看幫助文檔：shift+tab
  8. 自動提示：tab

二.requests模塊

　　requests模塊代碼編寫的流程：

　　　　指定url

　　　　發起請求

　　　　獲取響應對象中的數據

　　　　持久化存儲

例子

　　爬取搜狗的頁面

import requests
#1
url = ‘https://www.sogou.com/‘
#2.
response = requests.get(url=url)
#3.
page_text = response.text
#4.
with open(‘./sogou.html‘,‘w‘,encoding=‘utf-8‘) as fp:
    fp.write(page_text)

　　

#需求：爬取搜狗指定詞條搜索後的頁面數據
import requests
url = ‘https://www.sogou.com/web‘
#封裝參數
wd = input(‘enter a word:‘)
param = {
    ‘query‘:wd
}
response = requests.get(url=url,params=param)

page_text = response.content
fileName = wd+‘.html‘
with open(fileName,‘wb‘) as fp:
    fp.write(page_text)
    print(‘over‘)

#爬取百度翻譯結果
url = ‘https://fanyi.baidu.com/sug‘
wd = input(‘enter a word:‘)
data = {
    ‘kw‘:wd
}
response = requests.post(url=url,data=data)

print(response.json())

#response.text : 字符串
#.content : 二進制
#.json() : 對象

#爬取豆瓣電影分類排行榜 https://movie.douban.com/中的電影詳情數據
url = ‘https://movie.douban.com/j/chart/top_list‘
param = {
    "type": "5",
    "interval_id": "100:90",
    "action": ‘‘,
    "start": "60",
    "limit": "100",
}

movie_data = requests.get(url=url,params=param).json()

print(movie_data)

　　User-Agent參數，簡稱為UA，該參數的作用是用於表明本次請求載體的身份標識。

#需求：爬取國家藥品監督管理總局中基於中華人民共和國化妝品生產許可證相關數據http://125.35.6.84:81/xk/
#反爬機制:UA檢測  --> UA偽裝
import requests
url = ‘http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsList‘
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36‘
}
id_list = []
for page in range(1,11):
    data = {
        "on": "true",
        "page": str(page),
        "pageSize": "15",
        "productName": "",
        "conditionType": "1",
        "applyname": "",
        "applysn": "",
    }
    json_data = requests.post(url=url,data=data,headers=headers).json()
    for dic in json_data[‘list‘]:
        id = dic[‘ID‘]
        id_list.append(id)
    
detail_url = ‘http://125.35.6.84:81/xk/itownet/portalAction.do?method=getXkzsById‘
for id in id_list:
    detail_data = {
        ‘id‘:id
    }
    detail_json = requests.post(url=detail_url,data=detail_data,headers=headers).json()
    print(detail_json)

　　urllib是Python自帶的一個用於爬蟲的庫，其主要作用就是可以通過代碼模擬瀏覽器發送請求。其常被用到的子模塊在Python3中的為urllib.request和urllib.parse，在Python2中是urllib和urllib2。

#爬取照片
url = ‘https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=806201715,3137077445&fm=26&gp=0.jpg‘
img_data = requests.get(url=url,headers=headers).content
with open(‘./xiaohua.jpg‘,‘wb‘) as fp:
    fp.write(img_data)

　　用urllib

import urllib
url = ‘https://ss2.bdstatic.com/70cFvnSh_Q1YnxGkpoWK1HF6hhy/it/u=806201715,3137077445&fm=26&gp=0.jpg‘
urllib.request.urlretrieve(url=url,filename=‘./123.jpg‘)

三.正則表達式

單字符：
        . : 除換行以外所有字符
        [] ：[aoe] [a-w] 匹配集合中任意一個字符
        \d ：數字  [0-9]
        \D : 非數字
        \w ：數字、字母、下劃線、中文
        \W : 非\w
        \s ：所有的空白字符包,括空格、制表符、換頁符等等。等價於 [ \f\n\r\t\v]。
        \S : 非空白
    數量修飾：
        * : 任意多次  >=0
        + : 至少1次   >=1
        ? : 可有可無  0次或者1次
        {m} ：固定m次 hello{3,}
        {m,} ：至少m次
        {m,n} ：m-n次
    邊界：
        $ : 以某某結尾 
        ^ : 以某某開頭
    分組：
        (ab)  
    貪婪模式： .*
    非貪婪（惰性）模式： .*?

    re.I : 忽略大小寫
    re.M ：多行匹配
    re.S ：單行匹配

    re.sub(正則表達式, 替換內容, 字符串)

import re
string = ‘‘‘fall in love with you
i love you very much
i love she
i love her‘‘‘

re.findall(‘^i.*‘,string,re.M)
import re
#匹配全部行
string1 = """細思極恐
你的隊友在看書
你的敵人在磨刀
你的閨蜜在減肥
隔壁老王在練腰
"""
re.findall(‘.*‘,string1,re.S)

　　爬取糗事百科中所有的圖片進行保存

import requests
import re
import urllib
import os

url = ‘https://www.qiushibaike.com/pic/page/%d/?s=5170552‘
# page = 1
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36‘
}
if not os.path.exists(‘./qiutu‘):
    os.mkdir(‘./qiutu‘)
    
start_page = int(input(‘enter a start pageNum:‘))
end_page = int(input(‘enter a end pageNum:‘))

for page in range(start_page,end_page+1):
    new_url = format(url%page)
#     print(new_url)
    page_text = requests.get(url=new_url,headers=headers).text
    img_url_list = re.findall(‘<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>‘,page_text,re.S)
    for img_url in img_url_list:
        img_url = ‘https:‘+img_url
        imgName = img_url.split(‘/‘)[-1]
        imgPath = ‘qiutu/‘+imgName
        urllib.request.urlretrieve(url=img_url,filename=imgPath)
        print(imgPath,‘下載成功!‘)
        
print(‘over!!!‘)

四.bs4

　　下載：

1.pii install bs4 
2.pip install lxml

　　解析原理：

　　　　1.將即將要進行解析的源碼加載到bs對象

　　　　2.調用bs對象中相關的方法或屬性進行源碼中的相關標簽的定位

　　　　3.將定位到的標簽之間存在的文本或者屬性值獲取

import requests
from bs4 import BeautifulSoup

url = ‘http://www.shicimingju.com/book/sanguoyanyi.html‘
headers = {
    ‘User-Agent‘:‘Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36‘
}
page_text = requests.get(url=url,headers=headers).text

soup = BeautifulSoup(page_text,‘lxml‘)

a_list = soup.select(‘.book-mulu > ul > li > a‘)

fp = open(‘sanguo.txt‘,‘w‘,encoding=‘utf-8‘)
for a in a_list:
    title = a.string
    detail_url = ‘http://www.shicimingju.com‘+a[‘href‘]
    detail_page_text = requests.get(url=detail_url,headers=headers).text
    
    soup = BeautifulSoup(detail_page_text,‘lxml‘)
    content = soup.find(‘div‘,class_=‘chapter_content‘).text
    
    fp.write(title+‘\n‘+content)
    print(title,‘下載完畢‘)
print(‘over‘)
fp.close()

　　

爬蟲之jupyter的使用，requests模塊，正則表達式，bs4

相關推薦

python之常用模塊和正則表達式

正則 logs 劃線 python log 則表達式 換行 表達 重復 今天我們來談談python中模塊的使用，在探討模塊前先來了解一下正則表達式的具體用法。 1.正則表達式 正則表達式就是匹配 字符串內容的一種規則。談到正則就和字符串相關了，首先我們要知道什麽是字符組。

常用模塊之re模塊以及正則表達式擴展

之間 lap 開始 cal 第一個 默認 應該 findall 模塊名 什麽是模塊？ 常見的場景：一個模塊就是一個包含了python定義和聲明的文件，文件名就是模塊名字加上.py的後綴。 但其實import加載的模塊分為四個通用類別：　 使用pytho

python基礎13 ---函數模塊3(正則表達式)

匹配字符串 特殊字符 註意 末尾 高度 功能 all -a match 正則表達式 一、正則表達式的本質 　　1、正則表達式的本質（或 RE）是一種小型的、高度專業化的編程語言，（在Python中）它內嵌在Python中，並通過 re 模塊實現。正則表達式模式被編譯成一系列

re模塊和正則表達式

span 匹配 ref nbsp font 內容 str 正則表達式 blank re模塊 正則表達式 : 什麽是正則表達式 正則表達式，就是匹配字符串內容的一種規則。 首先你要知道的是，談到正則，就只和字符串相關了 在線測試工具 http://tool.c

二十一、re模塊和正則表達式

oldboy 騰訊qq 左右 字符集 pytho pin 匹配 sdn 想要 官方定義：正則表達式是對字符串操作的一種邏輯公式，就是用事先定義好的一些特定字符、及這些特定字符的組合，組成一個“規則字符串”，這個“規則字符串”用來表達對字符串的一種過濾邏輯。 正則表達式 字

python--(常用模塊-3-正則表達式)

表達 表達式 麻煩 enter 空白字符 tool 缺點 () ... python--(常用模塊-3-正則表達式) 　　正則表達式是對字符串操作的?種邏輯公式. 我們?般使?正則表達式對字符串進?匹　　配和過濾. 使?正則的優缺點: 　　優點: 靈活, 功能性強, 邏

Python re模塊與正則表達式詳解

代碼 子串 pil 如何實現 第一個 列表 相同 使用 空字符 Python 中使用re模塊處理正則表達式，正則表達式主要用來處理文本中的查找，匹配，替換，分割等問題；我們先來看一個問題，切入正則表達式。 問題： 匹配字符串，最少以3個數字開頭。使用Python代碼如何實現

爬蟲之jupyter的使用，requests模塊，正則表達式，bs4

管理 2.0 數字 com start 敵人 windows har 自動 一.爬蟲 1.介紹 　　 爬蟲就是通過編寫程序模擬瀏覽器上網，然後讓其去互聯網上抓取數據的過程 2.分類 　　通用爬蟲： 通用爬蟲是搜索引擎（Baidu、Google、Yahoo等）&ldq

python基礎之 正則表達式，re模塊

方便 轉義 python pan imp 解決 進行 nbsp 每一個 正則表達式：是字符串的規則，只是檢測字符串是否符合條件的規則而已 1.檢測某一段字符串是否符合規則 2.將符合規則的匹配出來 re模塊：是用來操作正則表達式的 2.正則表

內置函數，匿名函數，正則表達式，常用模塊

fun pan -s lam 內存地址 turn return bsp nbsp 匿名函數 1.函數沒有名字 2.函數體自帶return,所以不能在lambda中用return lambda x,y,z=1:x+y+z 等同於 def func(x,y,z=1):retu

學習之路（三）淺談：輸出重定向，grep及正則表達式，egrep

grep 地址總線：內存尋址 數據總線：傳輸數據 控制總線：控制指令 > :輸出重定向（會覆蓋原有內容） >>: 追加重定向（不會覆蓋，追加輸出） 2>: 重定向錯誤輸出 2

sqlserver 運行正則表達式，調用c# 函數、代碼

exp pan net hit ng- 創建 val put creat --1.新建SqlServerExt項目,編寫 C# 方法生成 SqlServerExt.dll 文件 using System; using System.Data; usin

正則表達式，re 和collect

pan 都沒有 close 結果 dad split strong re.search 方法 各種括號在正則裏的用法： （）包裹一段字符串，外面用一個功能符號包含。 {}裏面加一個數字，表示運行多少次，如果{1,3}則表示運行1-3次。 []，裏面加數字，表示從哪到哪，例：

正則表達式，字符串中需要兩個反斜杠“\d”

pattern blog text this 輸出 create 直接 out 兩個 這個正則表達式為什麽會有兩個反斜杠？ "^.*?\\.(jpg|png|bmp|gif)$"上面這個正則表達式為什麽有兩個反斜杠呢？反斜杠點\.就能表示點.了，為什麽還要在\.前面多加一個

base64 正則表達式 ，判斷圖片是base64還是圖片鏈接

https 鏈接 font target console 圖片 lan 判斷圖片 col base64正則表達式 在這裏看到https://segmentfault.com/q/1010000009628242/a-1020000009629647var reg = /^\

學會這二十個正則表達式，能讓你少些1000行代碼！

linux 正則 表達式 正則表達式，是一個強大且高效的文本處理工具。通常情況下，通過一段表達準確的表達式，能夠非常簡短、快速的實現復雜業務邏輯。因此，正則表達式通常是一個成熟開發人員的標配，可以輔助實現開發效率的極強提升。在需要實現校驗字段、字符串等內容時，通常就可以通過正則表達式實現：下面是技

簡單的正則表達式，

代碼 class 固定電話 固定 color span cnblogs 出生日期 區別 臨近期中，一切都忙了起來。匆忙之中從自己的代碼中復制了些，分享加自我保存一下 使用的是JAVA,可能每個語言的正則表達式有一點點形式上的區別。 /*1.判斷是否是電話號碼

正則表達式，grep/egrep工具的使用

目錄 查詢 日常 計算機 pri com 完成 term col 正則表達式，又稱規則表達式，英文名為Regular Expression，在代碼中常簡寫為regex、regexp或RE，是計算機科學的一個概念。正則表通常被用來檢索、替換那些符合某個模式(規則)的文本。在計

知道這20個正則表達式，能讓你少寫1,000行代碼

des key htm 兼容 需要 處理工具 取代 windows 手機號正則表達式 轉自：https://www.jianshu.com/p/e7bb97218946 正則表達式，一個十分古老而又強大的文本處理工具，僅僅用一段非常簡短的表達式語句，便能夠快速實現一個非常

關於Linux，用戶，組，權限，文本處理工具，正則表達式，vim文本編輯器

rtx 元字符 否則 權限 tdi 行編輯 directory e2fs 登錄 一、 用戶 ??在Linux系統中，可以創建多個用戶，每一個用戶都有一個與其對應的ID號，就像每一個人都有一個×××號一樣，這就是用戶的UID，??在Linux中管理員 root的默認UID