2. 程式人生 > >org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403

阿新 • • 發佈：2018-05-17
csdn webkit copy ebp odi DC lang hit -m

爬取網站的時候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些網站可以正常爬取。

但是有些網站報403錯誤，403是一種在網站訪問的過程中，常見的錯誤提示。表示資源不可用，服務器理解客戶對的請求，但是拒絕處理它，通常由服務器上文件或者目錄的權限設置導致的web訪問錯誤。

解決方法無非就是從這幾個角度：useragent,referer,token,cokkie

所以我們給連接添加模擬瀏覽器的header：

[java] view plain copy
  1. <span style="white-space:pre;"> </span>conn = Jsoup.connect(url).timeout(5000);
  2. conn.header("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8");
  3. conn.header("Accept-Encoding", "gzip, deflate, sdch");
  4. conn.header("Accept-Language", "zh-CN,zh;q=0.8");
  5. conn.header("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36");

然後再執行conn.get()

就可以得到數據了。

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403

相關推薦

org.jsoup.HttpStatusException: HTTP error fetching URL. Status=403

csdn webkit copy ebp odi DC lang hit -m 爬取網站的時候 conn = Jsoup.connect(url).timeout(5000).get();直接用get方法，有些網站可以正常爬取。 但是有些網站報403錯誤，403是一種在網站

Jsoup 傳送post請求 org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=https:

在使用Jsoup 發從post 請求的 時候，需要攜帶很多引數！ 這次遇到忘了將頁面form 標籤下隱藏的資料帶過去導致 404   org.jsoup.HttpStatusException: HTTP error fetching URL. Status=404, URL=

呼叫webservice，出現錯誤：Uncaught SoapFault exception: [HTTP] Error Fetching http headers

    在PHP中呼叫webservice釋出的服務(__Call)，報如下錯：     Fatal error: Uncaught SoapFault exception: [HTTP] Error Fetching http headers in Test.php:18

.CondaHTTPError: HTTP Error: Could not find URL: https://pypi.python.org/pypi/win-64/

使用anaconda時遇到的問題 之前安裝過pip導致 在create -n 的時候系統在C://Users/username/.condarc 找不到對應的檔案 參考 stackoverflow上的解決方案： http://stackoverflow.com/ques

記解決一次“HTTP Error 400. The request URL is invalid”的錯誤

cat 2.0 get run 情況 -i tle 錯誤信息 重啟 今天將圖片服務切到使用了cdn的機器上面去，然後就部分圖片報如下圖錯誤“HTTP Error 400. The request URL is invalid” 看到這種錯誤信息，一般的開發者心中可能會猜測

Error fetching https://gems.ruby-china.org/: bad response Not Found 404 (https://gems.ruby-china.org/specs.4.8.gz)

dia span 域名 tle etc spa bad source edi Error fetching https://gems.ruby-china.org/: bad response Not Found 404 (https://gems.ruby-china.o

安裝 Cocoapods 的時候出現 Error fetching https://ruby.taobao.org/

  安裝 Cocoapods 的時候出現 Error fetching https://ruby.taobao.org/: SSL_connect returned=1 errno=0 state=SSLv3 read server certificate B:

sass安裝映象時出錯：Error fetching https://ruby.taobao.org/:no such name淘寶鏡源無效解決

首先 吐槽一下 淘寶映象太坑爹了,突然更新不了cocoapods而且一直出現這個問題,查了好多資料, 發現只要映象是淘寶映象的都沒用,依舊解決不了問題。最終 查到淘寶映象跟不上時代淘汰了,用阿里雲映象 可以實現cocoapods 的更新,

Error fetching https://ruby.taobao.org/: bad response Not Found 404 解決方法

前言： 安裝ruby替換國內淘寶源的時候cmd報錯： 原因： 原來淘寶的gem源已經停止維護，現在由ruby-china提供映象服務 解決方法： gem source -a h

Error fetching https://ruby.taobao.org/: bad response Not Found 404

xcode在按照pod時，報如下錯誤： Error fetching https://ruby.taobao.org/:bad response Not Found 404 (https://gems.ruby-china.org/specs.4.8.gz) 原因：淘寶的

Error fetching https://gems.ruby-china.org/: bad response Not Found 404 解決方法

平常的做法 移除源 新增完成之後可以再次用gem source -l命令看是否新增成功 報錯後，看了網上很多人都是把https改成http什麼的 新增成功後 記得更新gem 新增之前，gem -update --system 學習

Error fetching https://gems.ruby-china.org/: bad response Not Found 404 解決方法

平常的做法 移除源 新增完成之後可以再次用gem source -l命令看是否新增成功 報錯後，看了網上很多人都是把https改成http什麼的 但是還是進看這裡靠譜一點，畢竟實時更新https://gems.ruby-china.org 新增成功後 記得

Error fetching https://gems.ruby-china.org/: bad response Not Found 404 (https://gems.ruby-china.org/specs.4.8.gz) 報錯解決辦法

後綴 http png ima alt 解決 圖片 nbsp spec 執行換源操作 gem source -a https://gems.ruby-china.org/ 時報錯： Error fetching https://gems.ruby-china.org/:

請求部署在 IIS7.5 上的 REST 服務的 Put/Post/Delete 操作發生 HTTP Error 405.0 - Method Not Allowed 錯誤之解決

超文本 sha 參考 handlers ron bapi .com rest 通過 背景 請求部署在 IIS7.5 上的 REST 服務的 Put/POST/DELETE 操作發生 HTTP Error 405.0 - Method Not Allowed 錯誤。 Issu

nodejs模塊之http&&url

關系 stl header bool 根據 是我 path sla hostname 我們使用nodejs中的http模塊來進行網絡操作 一、什麽是HTTP協議： 超文本傳輸協議（HyperText Transfer Protocol）HTTP假定其下層協議提供可靠傳輸

urllib2.HTTPError: HTTP Error 403: Forbidden 解決方法

error ack mac int ins com Language gzip ces 參考： https://stackoverflow.com/questions/13303449/urllib2-httperror-http-error-403-forbidden

urllib2.HTTPError: HTTP Error 400: Bad Request

htm cat flow sca gzip question ica 3.0 top 1 import urllib2 2 import re 3 import os 4 5 def process_item(self, item, spider): 6

火狐瀏覽器訪問網站出現 HTTP Error 400. The request is badly formed.錯誤，怎麽解決

def dbm cot row ufw glm rpi peb orb 　　今天在訪問某個網站時，出現一個“HTTP Error 400. The request is badly formed.”錯誤， 那麽應該如何解決呢？ 1、問題描述： 　　用火狐瀏覽網站出現“”H

[轉]HTTP Error 502.5 - Process Failure asp.net core error in IIS

mic pic restart img ces mage and microsoft cut 本文轉自：http://www.cnblogs.com/autohome7390/p/6840652.html 在windows server 2012 上安裝完do

通過http.client解析url返回的數據時為什麽中文變成了unicode碼

eval 數據 pen class except port nts sun ring 今天在解析json數據的時候得到了一堆這樣的數據：{"errNum":0,"errMsg":"success","retData":[{"title":"\u6536\u5e9f\u54c