由於技術有限天貓詳細頁的銷售資料爬取不到,所以採用折中的方法改為爬列表頁.

本文針對的是店內搜尋頁

以下是獲取網頁資料:

/**
	 * @param URL 根據URL獲取document 
	 */
	public static Document getDocument(String URL) {
		Connection conn = null;
		Document doc = null;
		int count = 0;
		while (doc == null && count < 3000) {
			try {
				conn = Jsoup.connect(URL);
				doc = conn.get();
			} catch (IOException e) {
				e.printStackTrace();
			}
			count++;
		}
		return doc;
	}
 

/**
	 * @param prdListUrl
	 *            ：產品所在 列表頁
	 * @param dataId
	 *            ：產品的資料ID
	 * @throws Exception 
	 */
	public static Map<String,String> getProductInfo(String prdListUrl,String dataId) throws Exception{
		Map<String,String> productInfo = new HashMap<String,String>();
		Document doc = GetTmall.getDocument(prdListUrl);
		Elements div_J_TItems = doc.select(".J_TItems");
		if(div_J_TItems!=null && !div_J_TItems.isEmpty()){
			Elements item5line1s = div_J_TItems.get(0).children(); 
			for(Element item5line1 : item5line1s ){
				Elements items = item5line1.select(".item ");
				if(items != null && !items.isEmpty()){
					for(Element item : items){
						String prdId = item.attr("data-id");
						if(prdId.equals(dataId)){
							Elements c_prices = item.select(".detail .attribute .cprice-area .c-price");
							productInfo.put("price", c_prices.get(0).text());
							Elements sale_nums = item.select(".detail .attribute .sale-area .sale-num");
							productInfo.put("saleNum", sale_nums.get(0).text());
						}
					}
				}
			}
		}
		//System.out.println("商品網址："+prdListUrl+"  商品編號 ："+dataId);
		//System.out.println("銷售量："+productInfo.get("saleNum")+"銷售價："+productInfo.get("price"));
		return productInfo;
	}