使用User-Agent防止HttpClient傳送http請求時403 Forbidden和安全攔截

阿新 • • 發佈：2019-01-31

最近在訪問一個介面的時候被拒絕了。具體資訊如下

這裡寫圖片描述

我們用程式訪問我的csdn部落格地址

這裡寫圖片描述

解決方案就是在httpclient發出請求的時候在Header中設定一個User-Agent

具體如下

    String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";
    HttpGet httpGet = new HttpGet(url);
    httpGet.setHeader("User-Agent" 
,userAgent);
    response = httpclient.execute(httpGet);

我電腦的谷歌瀏覽器User-Agent

這裡寫圖片描述

加上User-Agent之後訪問我的部落格地址

這裡寫圖片描述

完整的程式碼

HttpUtil.Java

package com.jrbac.util;

import java.io.File;
import java.io.IOException;
import java.util.ArrayList;
import java.util.List;
import java.util.Map;

import org.apache.http.Consts;
import 
 org.apache.http.HttpEntity;
import org.apache.http.NameValuePair;
import org.apache.http.client.ClientProtocolException;
import org.apache.http.client.entity.UrlEncodedFormEntity;
import org.apache.http.client.methods.CloseableHttpResponse;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.client.methods.HttpPost;
import 
 org.apache.http.entity.StringEntity;
import org.apache.http.entity.mime.HttpMultipartMode;
import org.apache.http.entity.mime.MultipartEntityBuilder;
import org.apache.http.entity.mime.content.FileBody;
import org.apache.http.impl.client.CloseableHttpClient;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.message.BasicNameValuePair;
import org.apache.http.util.EntityUtils;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

/**
 * Http工具類，傳送Http請求， Get請求請將引數放在url中 Post請求請將引數放在Map中
 * 
 * @author 程高偉
 * @date 2017年1月5日 下午6:03:50
 */
public class HttpUtil {
    private static final Logger log = LoggerFactory.getLogger(HttpUtil.class);
    private static final CloseableHttpClient httpclient = HttpClients.createDefault();
    private static final String userAgent = "Mozilla/5.0 (Windows NT 6.2; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.87 Safari/537.36";

    /**
     * 傳送HttpGet請求
     * 
     * @param url
     *            請求地址
     * @return 返回字串
     */
    public static String sendGet(String url) {
        String result = null;
        CloseableHttpResponse response = null;
        try {
            HttpGet httpGet = new HttpGet(url);
            httpGet.setHeader("User-Agent", userAgent);
            response = httpclient.execute(httpGet);
            HttpEntity entity = response.getEntity();
            if (entity != null) {
                result = EntityUtils.toString(entity);
            }
        } catch (Exception e) {
            log.error("處理失敗 {}" + e);
            e.printStackTrace();
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
     * 傳送HttpPost請求，引數為map
     * 
     * @param url
     *            請求地址
     * @param map
     *            請求引數
     * @return 返回字串
     */
    public static String sendPost(String url, Map<String, String> map) {
        // 設定引數
        List<NameValuePair> formparams = new ArrayList<NameValuePair>();
        for (Map.Entry<String, String> entry : map.entrySet()) {
            formparams.add(new BasicNameValuePair(entry.getKey(), entry.getValue()));
        }
        // 編碼
        UrlEncodedFormEntity formEntity = new UrlEncodedFormEntity(formparams, Consts.UTF_8);
        // 取得HttpPost物件
        HttpPost httpPost = new HttpPost(url);
        // 防止被當成攻擊新增的
        httpPost.setHeader("User-Agent", userAgent);
        // 引數放入Entity
        httpPost.setEntity(formEntity);
        CloseableHttpResponse response = null;
        String result = null;
        try {
            // 執行post請求
            response = httpclient.execute(httpPost);
            // 得到entity
            HttpEntity entity = response.getEntity();
            // 得到字串
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
     * 傳送HttpPost請求，引數為檔案，適用於微信上傳素材
     * 
     * @param url
     *            請求地址
     * @param file
     *            上傳的檔案
     * @return 返回字串
     * @throws IOException
     * @throws ClientProtocolException
     */
    public static String sendPost(String url, File file) {
        String result = null;
        HttpPost httpPost = new HttpPost(url);
        // 防止被當成攻擊新增的
        httpPost.setHeader("User-Agent", userAgent);
        MultipartEntityBuilder multipartEntity = MultipartEntityBuilder.create();
        multipartEntity.setMode(HttpMultipartMode.BROWSER_COMPATIBLE);
        multipartEntity.addPart("media", new FileBody(file));
        httpPost.setEntity(multipartEntity.build());
        CloseableHttpResponse response = null;
        try {
            response = httpclient.execute(httpPost);
            HttpEntity entity = response.getEntity();
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 關閉CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;

    }

    /**
     * 傳送HttpPost請求，引數為json字串
     * 
     * @param url
     * @param jsonStr
     * @return
     */
    public static String sendPost(String url, String jsonStr) {
        String result = null;
        // 字串編碼
        StringEntity entity = new StringEntity(jsonStr, Consts.UTF_8);
        // 設定content-type
        entity.setContentType("application/json");
        HttpPost httpPost = new HttpPost(url);
        // 防止被當成攻擊新增的
        httpPost.setHeader("User-Agent", userAgent);
        httpPost.setEntity(entity);
        CloseableHttpResponse response = null;
        try {
            response = httpclient.execute(httpPost);
            HttpEntity httpEntity = response.getEntity();
            result = EntityUtils.toString(httpEntity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 關閉CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }

    /**
     * 傳送不帶引數的HttpPost請求
     * 
     * @param url
     * @return
     */
    public static String sendPost(String url) {
        String result = null;
        // 得到一個HttpPost物件
        HttpPost httpPost = new HttpPost(url);
        // 防止被當成攻擊新增的
        httpPost.setHeader("User-Agent", userAgent);
        CloseableHttpResponse response = null;
        try {
            // 執行HttpPost請求，並得到一個CloseableHttpResponse
            response = httpclient.execute(httpPost);
            // 從CloseableHttpResponse中拿到HttpEntity
            HttpEntity entity = response.getEntity();
            // 將HttpEntity轉換為字串
            result = EntityUtils.toString(entity);
        } catch (IOException e) {
            log.error(e.getMessage());
        } finally {
            // 關閉CloseableHttpResponse
            if (response != null) {
                try {
                    response.close();
                } catch (IOException e) {
                    log.error(e.getMessage());
                }
            }
        }
        return result;
    }
}

參考文獻

使用User-Agent防止HttpClient傳送http請求時403 Forbidden和安全攔截

最近在訪問一個介面的時候被拒絕了。具體資訊如下我們用程式訪問我的csdn部落格地址解決方案就是在httpclient發出請求的時候在Header中設定一個User-Agent 具體如下 String userAgent = "Mozilla/

java中使用Apache HttpClient傳送Http請求，並獲取返回結果

傳送http請求可以寫成一個工具類，HttpClient可以使用連線池建立，這樣的好處是我們可以自己定義一些配置，比如請求超時時間，最大連線數等等。 public class HttpUtil { private static CloseableHttpClient http

Python傳送Http請求時，提交中文或者符號中文編碼問題的解決方法

前言博主最近在用python3比較強大的Django開發web的時候，發現一些url的編碼問題，在瀏覽器提交請求api時，如果url中包含漢子，就會被自動編碼掉。呈現的結果是 ==> %xx%xx%xx。如果出現3個百分號為一個原字元則為utf8編碼，如果2個百分號則為gb2312編碼。

Java工具類--通過HttpClient傳送http請求

在寫網路程式的時候，經常會有從網址獲取資料的需求，上一篇解析JSON就需要從百度獲取天氣資料，本文介紹一種Java傳送http請求的工具–HttpClient。 ##HttpClient的介紹 The most essential function of Ht

httpclient傳送http請求設定網路超時時間

java傳送http請求時設定請求方式(post,put,delete,get)

重點：java.net包下面有兩個類是用來呼叫URL請求的。第一個 URLconnection 只能使用常用的post方式請求第二個 httpUrlconnection 可以主動設定四種請求方式其中，這兩個類

Android系列之網路（一）----使用HttpClient傳送HTTP請求（通過get方法獲取資料）

轉載地址：http://www.cnblogs.com/smyhvae/p/4004983.html 這個關於http的內容寫的比較好一、HTTP協議初探： HTTP（Hypertext Transfer Protocol）中文 “超文字傳輸協議”，是一種為分散式，

Android系列之網路（三）----使用HttpClient傳送HTTP請求（分別通過GET和POST方法傳送資料）

【正文】在前兩篇文章中，我們學習到了和HTTP相關的基礎知識。文章連結如下：一、GET和POST的對比：在漫長的時間當中，其他的方法逐漸的退出了歷史舞臺，最常用的只剩下GET和POST方法。而之前已經講過了通過GET方法獲取資料，今天來學習一下如何分別通過

使用HttpClient傳送http請求，並解析從伺服器端返回的資料

使用Apache的httpclient包可以模擬HTTP請求的傳送， get和post均可以。最方便的地方就是請求struts等web框架進行測試，省去了做測試頁面的差事。import java.io.IOException; import java.io.InputStr

關於java傳送http請求時中文亂碼的一種解決辦法

https://my.oschina.net/angerbaby/blog/207774摘要: 在jsp中常見的亂碼解決辦法無外乎是關於get和post兩種方式的，但只有切實地在實踐中使用時才會注意或者說注重到其他方式。例如，在http請求頭中傳送中文引數，出現亂碼，如何解決

Java在傳送HTTP請求時，遇到身份驗證無法獲取到response內容的解決方法

問題描述：有些網站在接受HTTP請求時會先讓你進行身份認證，所以在用Java傳送HTTP請求時會出現401錯誤碼，無法正常獲取到想要的內容。解決方法：我以傳送get請求為例，說明解決方法。 public static String getMethod(Strin

Java傳送http請求（HttpClient）

public class HttpClientUtil { public static String doGet(String url, Map<String, String> param, String token) { // 建立Httpclient物件 Closeabl

HttpClient 傳送 HTTP、HTTPS 請求的簡單封裝

序最近這幾周，一直在忙同一個專案，剛開始是瞭解需求，需求有一定了解之後，就開始調第三方的介面。由於第三方給提供的文件很模糊，在調介面的時候，出了很多問題，一直在溝通協調，具體的無奈就不說了，由於介面的訪問協議是通過 HTTP 和 HTTPS 通訊的，因此封裝了一個簡單的請

利用js實現頁面關閉時傳送http請求

一、背景假設有一個圖片瀏覽的網頁，每日pv量大概在80,000,000左右，uv量在3,000,000左右，現需要統計每張圖片的pv量。二、方案方案1 每瀏覽一張圖片，傳送圖片id和瀏覽數量到後臺，並記錄到資料庫（可能會涉及到快取機制，比如Memcache）方案2 在頁面中用

node.js傳送https或http請求時可接收引數及出現的bug總結

傳送http請求注意事項在使用node.js傳送http或https請求時，需注意：如果是傳送http請求，需要匯入的node模組是：const http = require(‘http’); 如果是傳送https請求，需要匯入的node模組是：con

封裝HttpClient進行http請求與https請求

src empty one key-value fin finally 發送post請求工具類 catch 一.https忽略證書 /** * 用於進行Https請求的HttpClient * * @author joey * */ public class

HttpClient設定HTTP請求頭Header

分享一下我老師大神的人工智慧教程！零基礎，通俗易懂！http://blog.csdn.net/jiangjunshow 也歡迎大家轉載本篇文章。分享知識，造福人民，實現我們中華民族偉大復興！

httpClient傳送post請求的demo

/** * 傳送HttpClient * */ public class HttpClientTest { public static void main(String[] args) throws IOException { delete(); } public st

使用feign傳送http請求解析報錯

錯誤如下：傳送請求開始 ----- [ChannelFeign#formRecog] ---> END HTTP (304117-byte body) 傳送請求結束返回開始 [ChannelFeign#formRecog] <--- HTTP/1.1 200 OK (4948ms

nodejs使用request傳送http請求

版權宣告：本文為博主原創文章，未經博主允許不得轉載。 https://blog.csdn.net/dreamer2020/article/details/52074516 在nodejs的開發中，有時需要後臺去呼叫其他伺服器的介面，這個時候，就需要傳送HTTP請求了。有一個簡單的工具可以用，Si

使用User-Agent防止HttpClient傳送http請求時403 Forbidden和安全攔截

參考文獻

相關推薦