2. 程式人生 > >PyQuery庫使用詳解

PyQuery庫使用詳解

阿新 • • 發佈：2018-11-01

PyQuery是python中一個強大而又靈活的網頁解析庫，如果你覺得正則寫起來太麻煩，又覺得BeautifulSoup語法太難記，如果你熟悉jQuery的語法那麼，PyQuery就是你絕佳的選擇。
安裝：pip3 install pyquery

一、初始化

下面介紹三種初始化PyQuery的方法。

1.字串初始化

html = '''
<div>
    <ul>
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
 

from pyquery import PyQuery as pq#習慣寫法，用字母pq來代替PyQuery類
doc = pq(html)#宣告PyQuery物件doc，傳入html這個引數（字串）
print(doc('li'))#用css選擇器來實現，如果要選id前面加#，如果選class，前面加.，如果選標籤名，什麼也不加

在這裡插入圖片描述
如圖，所以li標籤內容被選擇，並將內容打印出來。

2. URL初始化

from pyquery import PyQuery as pq
doc=pq(url='http://www.baidu.com')#直接請求傳入的url
print(doc('head'
 
))

在這裡插入圖片描述
選擇出了head標籤。

3.檔案初始化

from pyquery import PyQuery as pq
doc=pq(filename='demo.html')#指定檔名，該檔案在執行目錄下
print(doc('head'))

二、基本CSS選擇器

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
 

from pyquery import PyQuery as pq
doc = pq(html)
print(doc('#container .list li'))
#會查詢id為container class為list，標籤為li的物件，只是層級關係，後者並非一定是前者的子物件
#注意用空格隔開

在這裡插入圖片描述

三、查詢元素

查詢子元素

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''


from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')#拿到items，裡面選擇了list類
print(type(items))
print(items)
lis = items.find('li')#利用find方法，查詢items裡面的li標籤，得到的lis也可以繼續呼叫find方法往下查詢，層層剝離
print(type(lis))
print(lis)

在這裡插入圖片描述
打印出來的內容如上圖，上方的是list類中的所有內容，下方的是類中所有li標籤的內容。

也可以用**.children()**查詢直接子元素：

items = doc('.list')
lis = items.children()
print(type(lis))
print(lis)
lis = items.children('.active')
print(lis)

查詢父元素

html = '''
<div id="container">
    <ul class="list">
         <li class="item-0">first item</li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1 active"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
container = items.parent()#.parent()查詢物件的父元素
print(type(container))
print(container)

在這裡插入圖片描述
list類的父節點是container，被全部打印出來了。

祖先節點

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
items = doc('.list')
#parents = items.parents()#.parents（）查詢所有的祖先節點
parent = items.parents('.wrap')#可以傳入引數，再次進行篩選
print(parent)

在這裡插入圖片描述
找出所有祖先節點中，類為wrap的節點。

兄弟元素

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.list .item-0.active')#空格表示下一層，沒有空格表示並列
print(li.siblings())#.siblings()兄弟元素，即同級別的元素，不包括自己

在這裡插入圖片描述
如圖，選出了4個兄弟元素。
當然啦，還可以從結果裡再次進行篩選：

print(li.siblings('.active'))#

在這裡插入圖片描述

四、遍歷

如果查詢的結果有多個元素，並且你想對每一個都進行操作，那麼就要用到遍歷了。遍歷的關鍵就是items。

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
lis = doc('li').items()#.items會是一個生成器,可以用來遍歷
print(type(lis))
for li in lis:
    print(li)

在這裡插入圖片描述

五、獲取資訊

獲取屬性

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')#選出同時具備這item-0，active兩個資訊的標籤 空格表示這個標籤內層的標籤
print(a)
print(a.attr('href'))#a標籤的href屬性的內容，也就是一個超連結
print(a.attr.href)#另一種寫法

在這裡插入圖片描述

獲取文字

from pyquery import PyQuery as pq
doc = pq(html)
a = doc('.item-0.active a')#選出同時具備這item-0，active兩個資訊的標籤 空格表示這個標籤內層的標籤
print(a)
print(a.text())#獲取該標籤中的內容

在這裡插入圖片描述

獲取HTML

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')#選中一個li標籤
print(li)
print(li.html())#獲得該標籤中的html內容

在這裡插入圖片描述

六、DOM操作

對節點進行一些操作。這部分有許多的API，這裡舉一些例子。

addClass、removeClass

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.removeClass('active')#刪除active這個class屬性
print(li)
li.addClass('active')#增加
print(li)

在這裡插入圖片描述

attr、css

from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name','link')#如果不存在，就會向標籤中新增一個內容為link的name屬性，如果存在，那就改變之
print(li)
li.css('font-size','14px')#增加一個css
print(li)

在這裡插入圖片描述

remove

看下面的一段html，我們想要單獨獲得“Hello World”內容，但是和他並列的還有另外的內容，如果我們直接選中wrap標籤然後.text，那麼會獲取兩段內容。這時候可以先用remove方法把不需要的並列內容刪除掉。


html = '''
<div class="wrap">
    Hello, World
    <p>This is a paragraph.</p>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
wrap = doc('.wrap')
print(wrap.text())
wrap.find('p').remove()#找到p標籤然後刪除
print(wrap.text())

在這裡插入圖片描述
紅框中的是刪除之前的內容。刪除之後就可以單獨取得程式碼之祖：“Hello World”啦！

其他DOM方法

其他DOM方法
http://pyquery.readthedocs.io/en/latest/api.html
以上網址列出了所以的API，有需求時可檢視。

#七、偽類選擇器
根據自身需要（順序之類的），選擇指定的標籤。

html = '''
<div class="wrap">
    <div id="container">
        <ul class="list">
             <li class="item-0">first item</li>
             <li class="item-1"><a href="link2.html">second item</a></li>
             <li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
             <li class="item-1 active"><a href="link4.html">fourth item</a></li>
             <li class="item-0"><a href="link5.html">fifth item</a></li>
         </ul>
     </div>
 </div>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('li:first-child')#選擇li標籤中的第一個
print(li)
li = doc('li:last-child')
print(li)
li = doc('li:nth-child(2)')#獲取第2個li標籤
print(li)
li = doc('li:gt(2)')#獲取索引2個以後的li標籤。注意！索引是從0開始的
print(li)
li = doc('li:nth-child(2n)')#獲取第偶數個的li標籤
print(li)
li = doc('li:contains(second)')#查詢包含"second"文字的li標籤
print(li)

在這裡插入圖片描述
更多CSS選擇器可以檢視 http://www.w3school.com.cn/css/index.asp

官方文件
http://pyquery.readthedocs.io/

相關推薦

PyQuery庫詳解

則表達式 HR ID div TE DG -c contain filename 強大又靈活的網頁解析庫，如果覺得正則表達式寫起來太麻煩，而BeautifulSoup語法太難記，但是熟悉jQuery的語法，那麽PyQuery就是一個絕佳選擇。 安裝：pip3 install

python爬蟲pyquery庫詳解

PyQuery庫也是一個非常強大又靈活的網頁解析庫，如果你有前端開發經驗的，都應該接觸過jQuery,那麼PyQuery就是你非常絕佳的選擇，PyQuery 是 Python 仿照 jQuery 的嚴格實現。語法與 jQuery 幾乎完全相同，所以不用再去費心去記一些奇怪的方法了。 官網地址：http://

C++11 std::chrono庫詳解

toolbar space max mil exp 值類型 cond 精度 ++i 所謂的詳解只不過是參考www.cplusplus.com的說明整理了一下，因為沒發現別人有詳細講解。 　　chrono是一個time library, 源於boost，現在已經是C++標準。

mysql數據庫 詳解 之 自學成才1

簡化 註意 可能 方法 after 字符型 專題 mar 建議 一、學習目錄 1.認識數據庫和mysql 2.mysql連接 3.入門語句 4.詳解列類型 5.增刪改查 INSERT INTO 表名（列1,…… 列n） VALUES(值 1,…… 值 n); *（列

使用JDBC連接數據庫詳解

found 註冊 加載驅動 創建數據庫 delete ole red dsta 庫存 JDBC連接數據庫詳細流程 ?創建一個以JDBC連接數據庫的程序，包含7個步驟： 1、加載JDBC驅動程序： 在連接數據庫之前，首先要加載想要連接的數據庫的驅

exp/expdp 與 imp/impdp命令導入導出數據庫詳解

鏈接 lena attach 64bit lap 路徑 定時 存放位置 traints 一、exp命令導出數據庫 如何使exp的幫助以不同的字符集顯示：set nls_lang=simplified chinese_china.zhs16gbk，通過設置環境變量，可以讓ex

10.javaweb核心標簽庫詳解

bean對象 靜態 管理 請求 技術 範例 begin odin url 一、JSTL簡介及在項目中安裝配置 1， 簡介 使用JSTL標簽的目的就是不希望jsp中出現java邏輯代碼 分類 2， JSTL的安裝配置 首先將jar包中的各個標簽庫配置

13.javaweb xml標簽庫詳解

方便 2.3 http 進行 log 標簽庫 xml文件 for 路徑 一、XML標簽簡介 1， 作用 2， 標簽分類 XPath 路徑標記 查找節點元素示例 2.1<x:out> 2.

爬蟲（二）：Urllib庫詳解

lib lwp ces lin 設置 內置 col http測試 url 什麽是Urllib： python內置的HTTP請求庫 urllib.request : 請求模塊 urllib.error : 異常處理模塊 urllib.parse： url解析模塊 urllib

Oracle 11g數據庫詳解

adding 查看端口 linu oci 資料 標記 錯誤 urn locate 常見異常： ORA-14025：不能為實體化視圖或實體化視圖日誌指定PARTITION ORA-14026：PARTITION和CLUSTER子句互相排斥 ORA-14027：僅可以指定一個P

urllib庫詳解

www. ID erro quest port 異常處理 http 基本 parse urllib庫是python內置的一個http請求庫 其實urllib庫不好用，沒有requests庫好用，下一篇文章再寫requests庫，requests庫是基於urllib庫實現的

Requests庫詳解

OS nbsp 數據 請求 delet 直接 ade imp 比較 urllib庫作為基本庫，requests庫也是在urllib庫基礎上發展的 但是urllib在使用上不如requests便利，比如上篇文章在寫urllib庫的時候，比如代理設置，處理cookie時，沒有寫

Selenium庫詳解

ava javascrip 網頁渲染 用法 自動化測試工具 工具 源代碼 解決 AS 自動化測試工具，支持多種瀏覽器，在爬蟲中主要用來解決JavaSript渲染的問題。 (驅動瀏覽器，發送一些指令，讓瀏覽器完成一些動作) requests urllib這些庫無法正常獲取網頁

mongodb 數據庫詳解

大小 _id 檢索 www 擴展 經緯 rdb reboot 持久 第1章 數據庫管理系統 1.1 前言 01.數據的定義：文字、圖像、地理位置信息(坐標、經緯度)等 02.數據庫管理系統的定義：建立、存取和管理數據，保證數據安全和完整性的軟件 03.常見的數據庫管理系統：

MongoDB 數據庫詳解，以及 MongoDB4.0版本的安裝

primary 所在 高可用 使用 進行 remove 存儲空間 標記 詳解 MongoDB 簡介 MongDB 是一款跨平臺，面向文檔的數據庫，可以實現高性能，高可用性，並且能夠輕松擴展，是一個基於分布式文件存儲的開源數據庫系統。在高負載的情況下，添加更多的節點，可以保

Java jdbc 操作數據庫詳解

drive stat man println span 都是 sets for 連接 原文地址https://www.cnblogs.com/huguodong/p/5910859.html JDBC（Java Data Base Connectivity,java數據庫連

BS4庫詳解

his 單個 ant lan css選擇器 all ice pre ces 1 from bs4 import BeautifulSoup 2 3 4 5 6 html = """ 7 <html><head>

Python--urllib3庫詳解

Python--urllib3庫詳解   　　　Urllib3是一個功能強大，條理清晰，用於HTTP客戶端的Python庫，許多Python的原生系統已經開始使用urllib3。Urllib3提供了很多python標準庫裡所沒有的重要特性： 　　　　　　　　　　　　

python爬蟲學習筆記二：Requests庫詳解及HTTP協議

Requests庫的安裝：https://mp.csdn.net/postedit/83715574 r=requests.get(url,params=None,**kwargs) 這個r是Response物件 url ：擬獲取頁面的url連結 params：url中的額外引數

開源nlohmann json解析庫詳解

nlohmann庫是C++解析json的庫，庫使用很簡單。環境使用linux+kdevelop即可，程式中使用nlohmann僅需要將json.hpp新增到工程中即可。 介紹一下相關函式的使用。 json j_object = {{"one", 1}, {"two", 2}}; 查詢key：