1. 程式人生 > >八爪魚采集列表和詳情信息

八爪魚采集列表和詳情信息

單個 lan lock fault nbsp isp 聯網 任務 src

  前兩天突然接到領導一個郵件,讓我用八爪魚采集互聯網數據。下面是郵件的原話:

技術分享圖片

  我是接觸可視化工具較多,但是你這個應該不復雜就有點主觀了吧,沒辦法,讓我對應就對應吧。

  首先登陸官網:http://www.bazhuayu.com/,下載客戶端安裝,傻瓜式安裝下一步下一步就完成了。我不需要免費賬號,公司買了一個。

技術分享圖片

  這是這個工具的界面,還是蠻簡潔的,最主要的是任務欄和工具箱欄。任務欄首先可以建立任務組,在任務組下面建立具體的任務。下面我就具體的某一任務來一一說明。

  我采集的是中國土地市場網的結果公示,網址為http://www.landchina.com/default.aspx?tabid=263&ComName=default,頁面如圖:

技術分享圖片

  需要采集的信息是列表內容和點進去列表後的詳情,當然我的例子是列表選一個,詳情選一個。還有一點,這個列表需要翻頁,一共200頁,每頁30條。

1,建立任務:點擊新建,選擇自定義采集,輸入網址,點擊保存。

技術分享圖片

出來的頁面是這樣:

技術分享圖片

2,現在我要把序號這一列采集下來,鼠標點擊1.,然後選擇選中全部:

技術分享圖片

再選擇采集以下元素文本。至此,列表的信息可以采集了。

技術分享圖片

2,點擊鉆取到詳情列的超鏈接,然後選擇點擊該鏈接:

技術分享圖片

下面會跳轉到詳情頁,我再采集項目名稱,單擊對應文本,選擇采集該元素的文本,至此詳情的信息可以采集了。

技術分享圖片

3,我們的采集工作完成了,但是我們還差翻頁循環,點擊返回上個頁面:

技術分享圖片找到下頁按鈕,點擊,然後選擇循環單擊單個鏈接:

技術分享圖片

然後點擊左上角保存,全部步驟完成,我們可以看一下流程圖:

技術分享圖片

這樣一個采集任務就完成了,接下來就可以點擊開始采集按鈕測試了。

技術分享圖片

八爪魚采集列表和詳情信息