1. 程式人生 > >java獲取百度的真實url

java獲取百度的真實url

最近需要獲取百度的搜尋結果資料,可是百度的url已經加密了,無法獲取真實地址,後來就用htmlunit重新抓取了一遍獲取地址,效率特別低,後來想到點選url肯定有個跳轉的步驟,在Header中的location中發現了真是url,於是用Jsoup連接獲取跳轉,程式碼如下:

public String getRealUrlFromBaiduUrl(String url) {
        Connection.Response res = null;
        int itimeout = 60000;
        try {
            res = Jsoup.connect(url).timeout(itimeout).method(Connection.Method.GET).followRedirects(false).execute();
            return res.header("Location");
        } catch (IOException e) {
            e.printStackTrace();
        }
        return "";
    }


相關推薦

java獲取真實url

最近需要獲取百度的搜尋結果資料,可是百度的url已經加密了,無法獲取真實地址,後來就用htmlunit重新抓取了一遍獲取地址,效率特別低,後來想到點選url肯定有個跳轉的步驟,在Header中的location中發現了真是url,於是用Jsoup連接獲取跳轉,程式碼如下:

JAVA獲取網盤下載真實地址

這是一個java寫的獲取百度網盤真實下載連結進行下載的程式。  程式裡面一些引數拼接是根據瀏覽器抓包來的。具體的抓包方法網上一大堆,可以參考。這裡給出了原始碼和匯出的jar包。  url網址使用於百度分享的地址。暫時沒有適配有提取碼的地址。 執行的方法:  1、在當前的目錄

java獲取網盤真實下載連結

1. [程式碼]獲取方法 import java.net.URLEncoder; import java.util.ArrayList; import java.util.HashMap; import java.util.List; import java.util.M

【學習筆記】python爬取真實url

python 今天跑個腳本需要一堆測試的url,,,挨個找復制粘貼肯定不是程序員的風格,so,還是寫個腳本吧。 環境:python2.7 編輯器:sublime text 3 一、分析一下 首先非常感謝百度大佬的url分類非常整齊,都在一個

教大家獲取雲盤真實下載連結(告別雲盤客戶端,全速下載)

先把百度雲盤資源分享到自己的雲盤中,然後建立公開連結。2.瀏覽器開啟該網頁,以360瀏覽器為例,按F12進入開發者模式,找到Console(控制檯),複製以下程式碼到控制檯,然後回車!$.ajax({type: "POST",url: "/api/sharedownload?

獲取網盤下載真實地址

這是一個java寫的獲取百度網盤真實下載連結進行下載的程式。 程式裡面一些引數拼接是根據瀏覽器抓包來的。具體的抓包方法網上一大堆,可以參考。這裡給出了原始碼和匯出的jar包。 url網址使用於百度分享的地址。暫時沒有適配有提取碼的地址。 執行的方法: 1

java後臺介面獲取經緯度

首先,我需要從文字文件裡獲取地址資訊 package com.tongdatech.lgyj; import java.io.BufferedReader; import java.io.FileInputStream; import java.io.IOExceptio

java後臺地圖經緯度和地址之間的相互轉換(通過經緯度獲取地址、通過地址獲取經緯度)

準備工作: 百度地圖有json和xml兩種形式儲存資料 3、匯入jar包:此處通過json形式,需匯入jar包 json所需要的jar包如下: json-lib-2.3-jdk15.jar json所依賴的jar如下: commons-beanutils-1.

獲取網盤真是下載地址

time ole 不想 https _id 地址 360瀏覽器 data upload 1、將要下載的文件分享出去,是公開分享,私密不行 2、打開分享後的頁面,按下f12進入調試模式,在控制臺輸入一下代碼,點擊回車,既可看到真實下載地址 var ur

獲取地圖POI數據三(模擬關鍵詞搜索)

nav 運行 dip data box click pri reader lac 上一篇博文中講到如何獲取用於搜索的關鍵詞,並且已經準備好了一百五十萬的關鍵詞 這其中有門牌號碼,餐館酒店名稱,公司名稱,道路名稱等。有了這些數據,我們就可以通過代碼,模擬我們在百

Selenium2+python自動化34-獲取輸入聯想詞

keys else ID 通過 IT utf-8 img 如果 http 前言 最近有小夥伴問百度輸入後,輸入框下方的聯想詞如何定位到,這個其實難度不大,用前面所講的元素定位完全可以定位到的。 本篇以百度輸入框輸入關鍵字匹配後,打印出聯想詞匯。 一、定位輸入框聯想詞 1.首

Java呼叫API實現文字識別-羅紹崗-專題視訊課程

Java呼叫百度API實現文字識別—242人已學習 課程介紹         java呼叫百度AI文字識別SDK來實現一張圖片的文字資訊 課程收益     

java呼叫AI識別圖片上的文字功能

1、登入百度AI開放平臺     網站連結:http://ai.baidu.com/     新手接入指南:http://ai.baidu.com/docs#/Begin/top   &n

Java呼叫API實現翻譯-羅紹崗-專題視訊課程

Java呼叫百度API實現翻譯—390人已學習 課程介紹         java呼叫百度API實現中英文翻譯 課程收益     此課程學習後可以反駁領悟

Java呼叫API實現翻譯

  教程地址 下面是Java呼叫百度API實現翻譯的具體步驟: 一、在寫程式碼之前先在在百度翻譯平臺中,申請APP_ID   申請地址申請的詳見 點選開啟連結 申請之後,會得到APP_ID和SECURITY_KEY 二、java程式碼如

java呼叫地圖API開發,線上地圖開發——未完待續

這裡是目錄 一、引入百度地圖API 二、百度地圖開發 1、定義一個div來存放地圖 2、生成地圖 3、新增一個跳躍的點 4、新增控制元件 5、有其他需要的請留言 一、引入百度地圖API   百度地圖官方示例:http://lbsyun.b

java網盤功能

java 版百度網盤功能,目前已經實現: 1:百度網盤登入 2:列出百度網盤檔案 3: 切換目錄  4: 多執行緒下載檔案 速度有待優化。思路已經成型。 原始碼地址:https://gitee.com/xiaoyaofeiyang/BaiduPcs #

Java-基於API的圖片文字識別(支援中文,英文和中英文混合)

PS: 基於Java 1.8 版本控制:maven 使用之前需要獲取對應的專案API_KEY,SECRET_KEY,這些引數在使用API的時候必須用到,

Java-基於API的圖片文字識別(支援中文,英文和中英文混合)貨運APP開發找上海捌躍網路科技有限公司

PS: 基於Java 1.8 版本控制:maven 使用之前需要獲取對應的專案API_KEY,SECRET_KEY,這些引數在使用API的時候必須用到,用於生成access_token。 如何獲取這些引數:在百度開發者中心申請一個“通用文字識別”專案,然後就可