Scrapy學習（二）：Xpath使用與並行化操作
一、xpath介紹
XPath 是一門在 XML 文件中查詢資訊的語言。XPath 用於在 XML 文件中通過元素和屬性進行導航。
- XPath 使用路徑表示式在 XML 文件中進行導航
- XPath 包含一個標準函式庫
- XPath 是 XSLT 中的主要元素
- XPath 是一個 W3C 標準，支援HTML
節點
在 XPath 中，有七種型別的節點：元素、屬性、文字、名稱空間、處理指令、註釋以及文件（根）節點。XML 文件是被作為節點樹來對待的。
- 樹狀結構
- 逐層開啟
- 逐層定位
- 尋找獨立的節點
二、xpath語法
| 表示式 | 描述 |
| nodename | 選取此節點的所有子節點。 |
| / | 從根節點選取。 |
| // | 從匹配選擇的當前節點選擇文件中的節點，而不考慮它們的位置。 |
| . | 選取當前節點。 |
| .. | 選取當前節點的父節點。 |
| @ | 選取屬性 |
例子
以下面這個xml為例子
<?xml version="1.0" encoding="ISO-8859-1"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> <price>39.95</price> </book> </bookstore>
- xml.xpath(“bookstore”) 表示選取 bookstore 元素的所有子節點
- xml.xpath(“/bookstore”) 表示選取根元素 bookstore。
- xml.xpath(“bookstore/book”) 選取屬於 bookstore 的子元素的所有 book 元素。
- xml.xpath(“//book”) 選取所有 book 子元素，而不管它們在文件中的位置。
- xml.xpath(“bookstore//book”) 選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麼位置。
- xml.xpath(“//@lang”) 選取名為 lang 的所有屬性。
謂語
| 路徑表示式 | 結果 |
| /bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬於 bookstore 子元素的最後一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position()<3] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
| //title[@lang=’eng’] | 選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
| /bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
選取未知節點
萬用字元 描述
- * 匹配任何元素節點。
- @* 匹配任何屬性節點。
- node() 匹配任何型別的節點。
例子：
路徑表示式 結果
- /bookstore/* 選取 bookstore 元素的所有子元素。
- //* 選取文件中的所有元素。
- //title[@*] 選取所有帶有屬性的 title 元素。
選取若干路徑
通過在路徑表示式中使用“|”運算子，您可以選取若干個路徑。
- //book/title | //book/price 選取 book 元素的所有 title 和 price 元素。
- //title | //price 選取文件中的所有 title 和 price 元素。
- /bookstore/book/title | //price 選取屬於 bookstore 元素的 book 元素的所有 title 元素，以及文件中所有的 price 元素。
三、軸
軸可定義相對於當前節點的節點集。
軸名稱 結果
ancestor 選取當前節點的所有先輩（父、祖父等）。
ancestor-or-self 選取當前節點的所有先輩（父、祖父等）以及當前節點本身。
attribute 選取當前節點的所有屬性。
child 選取當前節點的所有子元素。
descendant 選取當前節點的所有後代元素（子、孫等）。
descendant-or-self 選取當前節點的所有後代元素（子、孫等）以及當前節點本身。
following 選取文件中當前節點的結束標籤之後的所有節點。
namespace 選取當前節點的所有名稱空間節點。
parent 選取當前節點的父節點。
preceding 選取文件中當前節點的開始標籤之前的所有節點。
preceding-sibling 選取當前節點之前的所有同級節點。
self 選取當前節點。
步的語法：
軸名稱::節點測試[謂語]
例子：
- 例子 結果
- child::book 選取所有屬於當前節點的子元素的 book 節點。
- attribute::lang 選取當前節點的 lang 屬性。
- child::* 選取當前節點的所有子元素。
- attribute::* 選取當前節點的所有屬性。
- child::text() 選取當前節點的所有文字子節點。
- child::node() 選取當前節點的所有子節點。
- descendant::book 選取當前節點的所有 book 後代。
- ancestor::book 選擇當前節點的所有 book 先輩。
- ancestor-or-self::book 選取當前節點的所有 book 先輩以及當前節點（如果此節點是 book 節點）
- child::*/child::price 選取當前節點的所有 price 孫節點。
四、一些函式
starts-with函式
獲取以xxx開頭的元素
Html = '''
<div id="test-1">內容1</div>
<div id="test-2">內容2</div>
<div id="test-3">內容3</div>
'''
selector = etree.HTML(Html)
content = xpath(‘//div[stars-with(@id,”test”)]/text()’)
for each in content_1:
print(each)
contains函式
獲取包含xxx的元素
例子：xpath(‘//div[contains(@id,”test”)]’)
and
與的關係
例子：xpath(‘//div[contains(@id,”test”) and contains(@id,”title”)]’)
text()函式
例子1：xpath(‘//div[contains(text(),”test”)]’)
例子2：xpath(‘//div[@id=”“test]/text()’)
五、Python中Xpath使用
1.安裝lxml庫 pip install lxml
2.匯入庫
from lxml import etree
Selector = etree.HTML(網頁原始碼)
#Xpath路徑可以通過開發者工具點選元素複製Xpath節點3.運用
from lxml import etree
html = '''
<body>
<div id="test1">
1,
<span>2,
<ul>
3,
<li>4,</li>
</ul>
5,
</span>
</div>
</body>
'''
selector = etree.HTML(html)
content = selector.xpath('//div[@id="test1"]')[0]
print(content)
info = content.xpath('string()')
print(info)
content2 = info.replace('\n','').replace(' ','')
print(content2)
#output:1,2,3,4,5六、Python並行化操作
from multiprocessing.dummy import Pool as ThreadPool
import requests
import time
def getsource(url):
html = requests.get(url)
urls = []
for i in range(1,21):
newpage = 'http://tieba.baidu.com/p/3522395718?pn='+str(i)
urls.append(newpage)
time1 = time.time()
for i in urls:
print(i)
getsource(i)
time2 = time.time()
print("單執行緒耗時"+str(time2-time1))
pool = ThreadPool(4)
time3 = time.time()
results = pool.map(getsource,urls)
pool.close()
pool.join()
time4 = time.time()
print("並行耗時"+str(time4-time3))
#output :單執行緒耗時26.22430443763733 並行耗時9.50959062576294