python爬蟲-XPath教程
阿新 • • 發佈：2018-12-17
XPath 教程
XPath 術語
XPath 節點
七種型別：在 XPath 中，有七種型別的節點：元素、屬性、文字、名稱空間、處理指令、註釋以及文件（根）節點。
XML 文件是被作為節點樹來對待的。樹的根被稱為文件節點或者根節點。
節點關係：父、子、同胞、先輩、後代
XPath 語法
XPath 使用路徑表示式來選取 XML 文件中的節點或節點集。 節點是通過沿著路徑 (path) 或者步 (steps) 來選取的。 XPath 使用路徑表示式在 XML 文件中選取節點。 節點是通過沿著路徑或者 step 來選取的。 下面列出了最有用的路徑表示式：
| 表示式 | 描述 |
|---|---|
| nodename | 選取此節點的所有子節點 |
| / | 從根節點選取 |
| // | 從匹配選擇的當前節點選擇文件中的節點，而不考慮它們的位置 |
| . | 選取當前節點 |
| … | 選取當前節點的父節點 |
| @ | 選取屬性 |
示例
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> <price>39.95</price> </book> </bookstore>
|路徑表示式 |結果| |bookstore |選取 bookstore 元素的所有子節點。| |/bookstore |選取根元素 bookstore。註釋：假如路徑起始於正斜槓( / )，則此路徑始終代表到某元素的絕對路徑！| |bookstore/book |選取屬於 bookstore 的子元素的所有 book 元素。| |//book |選取所有 book 子元素，而不管它們在文件中的位置。| |bookstore//book |選擇屬於 bookstore 元素的後代的所有 book 元素，而不管它們位於 bookstore 之下的什麼位置。| |//@lang |選取名為 lang 的所有屬性。|
謂語（Predicates）
謂語用來查詢某個特定的節點或者包含某個指定的值的節點。 謂語被嵌在方括號中。 在下面的表格中，我們列出了帶有謂語的一些路徑表示式，以及表示式的結果：
| 路徑表示式 | 結果 |
|---|---|
| /bookstore/book[1] | 選取屬於 bookstore 子元素的第一個 book 元素。 |
| /bookstore/book[last()] | 選取屬於 bookstore 子元素的最後一個 book 元素。 |
| /bookstore/book[last()-1] | 選取屬於 bookstore 子元素的倒數第二個 book 元素。 |
| /bookstore/book[position() < 3] | 選取最前面的兩個屬於 bookstore 元素的子元素的 book 元素。 |
| //title[@lang] | 選取所有擁有名為 lang 的屬性的 title 元素。 |
| //title[@lang=‘eng’] | 選取所有 title 元素，且這些元素擁有值為 eng 的 lang 屬性。 |
| /bookstore/book[price>35.00] | 選取 bookstore 元素的所有 book 元素，且其中的 price 元素的值須大於 35.00。 |
| /bookstore/book[price>35.00]/title | 選取 bookstore 元素中的 book 元素的所有 title 元素，且其中的 price 元素的值須大於 35.00。 |
選取未知節點
XPath 萬用字元可用來選取未知的 XML 元素。
|萬用字元 |描述|
|* |匹配任何元素節點。|
|@* |匹配任何屬性節點。|
|node() |匹配任何型別的節點。|
在下面的表格中，我們列出了一些路徑表示式，以及這些表示式的結果：
|路徑表示式 |結果
|/bookstore/* |選取 bookstore 元素的所有子元素。
|//* |選取文件中的所有元素。
|//title[@*] |選取所有帶有屬性的 title 元素。
選取若干路徑
通過在路徑表示式中使用"|"運算子，您可以選取若干個路徑。 在下面的表格中，我們列出了一些路徑表示式，以及這些表示式的結果：
| 路徑表示式 | 結果 |
|---|---|
| //book/title | //book/price |
| //title | //price |
| /bookstore/book/title | //price |
XPath 軸（Axes）
軸可定義相對於當前節點的節點集。
| 軸名稱 | 結果 |
|---|---|
| ancestor | 選取當前節點的所有先輩（父、祖父等）。 |
| ancestor-or-self | 選取當前節點的所有先輩（父、祖父等）以及當前節點本身。 |
| attribute | 選取當前節點的所有屬性。 |
| child | 選取當前節點的所有子元素。 |
| descendant | 選取當前節點的所有後代元素（子、孫等）。 |
| descendant-or-self | 選取當前節點的所有後代元素（子、孫等）以及當前節點本身。v |
| following | 選取文件中當前節點的結束標籤之後的所有節點。 |
| following-sibling | 選取當前節點之後的所有兄弟節點 |
| namespace | 選取當前節點的所有名稱空間節點。 |
| parent | 選取當前節點的父節點。 |
| preceding | 選取文件中當前節點的開始標籤之前的所有節點。 |
| preceding-sibling | 選取當前節點之前的所有同級節點。 |
| self | 選取當前節點。 |
XPath 運算子
| 運算子 | 描述 | 例項 | 返回值 |
|---|---|---|---|
| 計算兩個節點集 | //book | //cd | 返回所有擁有 book 和 cd 元素的節點集 |
| + | 加法 | 6 + 4 | 10 |
| - | 減法 | 6 - 4 | 2 |
| * | 乘法 | 6 * 4 | 24 |
| div | 除法 | 8 div 4 | 2 |
| = | 等於 | price=9.80 | 如果 price 是 9.80，則返回 true。如果 price 是 9.90，則返回 false。 |
| != | 不等於 | price!=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 |
| < | 小於 | price<9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 |
| <= | 小於或等於 | price<=9.80 | 如果 price 是 9.00，則返回 true。如果 price 是 9.90，則返回 false。 |
| > | 大於 | price>9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.80，則返回 false。 |
| >= | 大於或等於 | price>=9.80 | 如果 price 是 9.90，則返回 true。如果 price 是 9.70，則返回 false。 |
| or | 或 | price=9.80 or price=9.70 | 如果 price 是 9.80，則返回 true。如果 price 是 9.50，則返回 false。 |
| and | 與 | price>9.00 and price<9.90 | 如果 price 是 9.80，則返回 true。如果 price 是 8.50，則返回 false。 |
| mod | 計算除法的餘數 | 5 mod 2 | 1 |