1. 程式人生 > >Python領域最偉大工程師Kenneth Reitz又出來搞事了!

Python領域最偉大工程師Kenneth Reitz又出來搞事了!

undefined xpath 過來人 攝影 containe may strip 但是 -html

技術分享圖片

Python 程序員,特別是做爬蟲的同學都知道 HTTP 請求庫 Requests,Requests 完美體現了 “for Humans” 這個詞要表達的意思。

它的作者是高顏值的攝影愛好者 kennethreitz ,kennethreitz 寫過很多的庫, 除了 Requests 、還有 pipenv,一個更好的集成了包管理和環境管理的工具。日期時間庫 maya 等等。

這兩天他又搞出一個新項目叫 Requests-HTML,HTML Parsing for Humans 鏈接:https://github.com/kennethreitz/requests-html ,顧名思義,它是用於解析 HTML 文檔的。短短兩天項目的 Star 已經超過3000

以前我們寫爬蟲,解析 HTML 頁面通常會選擇 BeautifulSoup 或者是 lxml 庫,雖然 BeautifulSoup 的 API 比較友好,但是它的解析性能低下,而 lxml 使用 xpath 語法,解析速度快,但是代碼沒什麽可讀性,現在 kennethreitz 搞出來的這個 html 解析庫繼承了 requests 庫的優良傳統 —- for humans。

我們知道 requests 只負責網絡請求,但不對響應結果進行解析,你可以把 requests-html 理解為可以解析 html 文檔的 requsts 庫。

Requests-HTML 的代碼量其實非常少,目前不到 200 行,都是基於現有的框架進行二次封裝,使得開發者使用的時候更方便調用。它依賴於 PyQuery、Requests、lxml 等庫。

安裝

pip install requests-html

使用方法

>>> from requests_html import session

# 返回一個Response對象

>>> r = session.get(‘https://python.org/‘)

獲取所有鏈接

>>> r.html.links

{‘/users/membership/‘, ‘/about/gettingstarted/‘}

# 使用css選擇器的方式獲取某個元素

>>> about = r.html.find(‘#about‘)[0]

>>> print(about.text)

About

Applications

Quotes

Getting Started

Help

Python Brochure

另外,還有一個非常吸引人的特點是,它能將html轉換為markdown文本

# 將html轉換為Markdown文本

>>> print(about.markdown)

* [About](/about/)

* [Applications](/about/apps/)

* [Quotes](/about/quotes/)

* [Getting Started](/about/gettingstarted/)

* [Help](/about/help/)

* [Python Brochure](http://brochure.getpython.info/)

其實通過python的學習,小編也體會到了很多,雖然上手容易,可是進階難!作為一個過來人,小編整理了一些學習資料,希望會對個位的學習起到幫助!
有需要的小夥伴可以掃下方微信二維碼,或者直接添加微信號:kele22558!

技術分享圖片 技術分享圖片

Python領域最偉大工程師Kenneth Reitz又出來搞事了!