1. 程式人生 > >使用Web Scraper 插件,不需要編程,也能爬網

使用Web Scraper 插件,不需要編程,也能爬網

rap per list ima 總結 官方 clas 品牌 view

使用Web Scraper 插件,不需要編程,也能爬網,使用Web Scraper插件,能夠創建一個網站地圖,並能遍歷網站,抓取我們感興趣的數據,比如,我們登陸淘寶,京東等商務網站,我們可以通過 Web Scraper,抓取某一類商品的規格說明,價格,廠家等信息,我們通過Web Scraper可以抓取我們進入頭條上的最熱門的文章,也可以抓取我們自己的所有文章列表,發布時間,閱讀和瀏覽量等信息,當然也能抓取我們的粉絲列表。 最最最重要的是,你不需要寫任何的代碼,只需點擊,點擊,點擊,最後還能把抓取的結果導出為Excel可以識別的CSV格式。這功能,爽!!!

其官方網站如下:http://webscraper.io/tutorials

技術分享圖片

Web Scraper Chrome 插件的安裝

打開Chrome瀏覽器,輸入下面的URL地址:

https://chrome.google.com/webstore/detail/web-scraper/jnhgnonknehpejjnehehllkliplmbmhn

技術分享圖片

點擊“Added to Chrome”就安裝了,安裝後,在瀏覽器中按下F12或者點擊右鍵,選擇“檢查(Inspect)”,在開發者工具下面就能看到WebScraper的Tab。

技術分享圖片

Web Scraper Chrome 插件的入門例子

下面以抓取京東上面的所有的手機信息為例子,使用Web Scraper演示一下其使用和操作方法。

Step1. 創建一個京東手機的SiteMap(網站站點圖)

技術分享圖片

Step2. 在SiteMap上點擊選擇需要抓取的信息

如下圖所示意,想抓取當前京東上,熱門推薦的手機的網站和品牌信息,則抓取方法如下:命名一個id,這個id是自己定義的,然後選擇抓取的類型,比如本例子中我們選擇,“Link”

  • Link

  • PopupLink

  • Table

  • Element Attribute

  • Image

  • Groupped

  • HTML

  • Element

  • Element Click

  • Element Scroll down

然後選擇你感興趣元素,比如我選擇了iPhone,榮耀,小米,華為,Vivo,Oppo,其會自動生成一個獲取這些信息數據的表達式,我們可以稱呼其為XPath,最後,點擊保存。

技術分享圖片

Step3. 保存後,點擊“Data Preview”預覽數據。

技術分享圖片

Step4. 點擊“Data Preview”預覽的數據如下。

技術分享圖片

Step5. 點擊“Scrape”,立馬開始抓取數據。

當出現“Scraping Finished”的字樣的時候,說明已經抓取成功。

技術分享圖片

Step6. 點擊“Export Data as CSV”,導出為CVS的數據格式,這樣Excel就能打開

技術分享圖片

寫在最後的話

本文簡單介紹總結了Web Scraper的插件的功能,安裝以及一個簡單的單頁面例子。其實Web Scraper的功能遠遠不止於此,其實還能抓取分頁,還能多頁多元素的抓取,還能抓取二級頁面,比如,所有iphone或者華為手機的價格,配置等信息技術分享圖片

使用Web Scraper 插件,不需要編程,也能爬網