package com.okayisoft.okayspider.demo;

import org.apache.commons.httpclient.HttpClient;
import org.apache.commons.httpclient.methods.GetMethod;
import org.junit.Test;

import java.io.IOException;

/**
 * 所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來
 * 使用commons-HttpClient
 *
 * Created by XJM on 2017/4/27.
 */
public class WebPageSpider {

    @Test
    public void testGetWebPage(){
        //要訪問的地址
        String url="https://www.jd.com";

        //建立一個客戶端 相當於開啟一個瀏覽器
        HttpClient httpClient=new HttpClient();

        //建立一個get方法 類似於在瀏覽器地址中輸入訪問地址
        GetMethod getMethod=new GetMethod(url);
        try {
            //獲得響應狀態碼
            int resultCode=httpClient.executeMethod(getMethod);
            //可以獲取的資訊還有很多
            System.out.println("結果頁面DOM："+getMethod.getResponseBodyAsString());
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            //釋放連線
            getMethod.releaseConnection();
        }
    }
}