1. 程式人生 > >當年用httpclient時踩過的那些坑

當年用httpclient時踩過的那些坑

 

一、前言

httpclient是java開發中最常用的工具之一,通常大家會使用其中比較基礎的api去呼叫遠端。長期開發爬蟲,會接觸httpclient不常用的api,同時會遇到各式各樣的坑,本文將總結這些年遇到的坑及相應的解決方案。

二、問題及解決方案

問題1:Received fatal alert: handshake_failure

問題背景

開發某省份移動爬蟲時,載入首頁會報標題錯誤,嘗試各種辦法都不好使,後來發現換了jdk1.8就可以了。經過長達一個星期原始碼探尋,發現錯誤源頭是http在握手時,加密演算法不支援。

jdk1.8以下版本不支援256位(TLS_DHE_RSA_WITH_AES_256_CBC_SHA )

解決方案

1、下載jce擴充套件包 http://www.oracle.com/technetwork/cn/java/javase/downloads/jce-7-download-432124.html

2、替換/jre/lib/security/裡面的兩個jar 

3、覆蓋後如果報錯The jurisdiction policy files are not signed by a trusted signer!,說明下載的版本不對,要下對應jdk版本的。

問題2:Certificates does not conformto algorithm constraints

問題背景

用mvn打包時報錯, security.cert.CertificateException: Certificates does not conform toalgorithm constraints

原因是在java1.6之後的這個配置檔案中,認為MD2的加密方式安全性太低,因而不支援這種加密方式,同時也不支援RSA長度小於1024的密文。

需要修改 JAVA_HOME/jre/lib/security/java.security #jdk.certpath.disabledAlgorithms=MD2, RSA keySize < 1024

但是這樣做需要把每臺機器都改一遍,如果新加機器忘記改了,就會繼續報錯。因此需要一套方法,只在程式碼層解決問題。

解決方案

經查原始碼發現了觸發問題的程式碼位置,通過強制繼承SSLContextBuilder,並強制把private的keymanagers和trustmanagers的值置空就可以解決這個問題了。

程式碼如下:

static class MySSLContextBuilder extends SSLContextBuilder {
   static final String TLS   = "TLS";
   static final String SSL   = "SSL";
   private String protocol;
   private Set keymanagers;
   private Set trustmanagers;
   private SecureRandom secureRandom;
   public MySSLContextBuilder() {
      super();
      this.keymanagers = new HashSet();
      this.trustmanagers = new HashSet();
   }
}

 

問題3:超時時間不生效

問題背景

很多人在使用httpclient時會到網上去找例子,例子中經常會有類似這樣的設定

 
httpGet.getParams().setParameter(ClientPNames.HANDLE_REDIRECTS, !isAutoRelocal);

 

使用上述方法傳送httpclient,在讀取配置時,如果發現getParams不為空,則會使得以前設定的所有引數都失效,而使用這裡設定的,結果是導致超時時間失效。

解決方案

request.getParams().setParameter是過期方法,其中每一項引數在RequestConfig裡都有對應的,遍歷出來替換一遍即可。

boolean isRedirect = true;
        if(request != null) {
            HttpParams params = request.getParams();
            if (params instanceof HttpParamsNames) {
                // 暫時只支援這個型別
                isRedirect = params.getBooleanParameter(
                        ClientPNames.HANDLE_REDIRECTS, true);
            }
            // 清空request
            request.setParams(new BasicHttpParams());
        }
        if(timeOut > 0) {
            builder = RequestConfig.custom().setConnectionRequestTimeout(timeOut).setConnectTimeout(timeOut).setSocketTimeout(timeOut).setRedirectsEnabled(isRedirect).setCookieSpec(CookieSpecs.BEST_MATCH);
        } else {
            builder = RequestConfig.custom().setConnectionRequestTimeout(connectionTimeout).setConnectTimeout(connectionTimeout).setRedirectsEnabled(isRedirect).setSocketTimeout(socketTimeout).setCookieSpec(CookieSpecs.BEST_MATCH);
        }

 

問題4:fildder監聽問題

問題背景

開發爬蟲經常會使用fildder來監控網路請求,但是使用httpclient時想用fildder會很難,網上查各種辦法都不好用。

下面為大家來排個錯,使用下面方法就可以完美解決這個問題,讓fildder監控更容易。

解決方案

首先java端

// client builder
HttpClientBuilder builder = HttpClients.custom();
if(useFidder) {
            // 預設fidder寫死
            builder.setProxy(new HttpHost("127.0.0.1", 8888));
}

 

fildder端

tools->fiddler options->https->actions->export root certificate to ... \bin\keytool.exe -import -file C:\Users\\Desktop\FiddlerRoot.cer -keystore FiddlerKeystore -alias Fiddler

 

問題5:支援gzip

問題及解決方案

有些網站返回進行了gzip壓縮,返回內容是壓縮的結果,需要解壓。

程式碼如下:

HttpClient wrappedHttpClient =  builder.setUserAgent(requestUA)
                .addInterceptorLast(new HttpResponseInterceptor() {
                    @Override
                    public void process(HttpResponse httpResponse, HttpContext httpContext) throws HttpException, IOException {
                        HttpEntity httpEntity = httpResponse.getEntity();
                        Header header = httpEntity.getContentEncoding();
                        if (header != null) {
                            for (HeaderElement element : header.getElements()) {
                                if ("gzip".equalsIgnoreCase(element.getName())) {
                                    httpResponse.setEntity(new GzipDecompressingEntity(httpResponse.getEntity()));
                                }
                            }
                        }
                    }
                })

 

作者:劉鵬飛

來源:宜信技術