2. 程式人生 > >抓取網頁資料並解析Android

抓取網頁資料並解析Android

阿新 • • 發佈：2019-02-13

這天遇到這樣一個需求：這種頁面資料可以抓取嗎？


隨後提供了賬號、密碼和網站地址：

帳號：kytj1    

密碼：******************    

登陸地址：http://student.tiaoji.kaoyan.com/tjadm

主要思路：

1、使用Fiddler4分析http請求互動方式，包括資料傳送方式（POST或GET），攜帶引數等，獲得返回的資料資訊

2、用Android程式模擬HTTP請求

3、用Java解析HTML程式碼，提取出對應的姓名、報考學校、報考專業、分數、聯絡電話、釋出時間等欄位

4、把txt檔案匯入到Excel裡，待進一步處理。

用Fiddle檢視資料包

1、開啟Fiddler


2、開啟網站，填入使用者名稱和密碼，點選登入

登陸地址：http://student.tiaoji.kaoyan.com/tjadm


3、觀察Filldder抓到的包

可以看到HOST、URL、POST方式以及明文密碼



4、觀察網頁資料

登入成功後，網頁資料顯示為


   對應的Filldder抓包資料為

可以看到請求的HOST以及URL，方式為GET，返回的資料也可以在body體中獲取到。

5、HTML程式碼

返回的HTML頁面程式碼為（選取了部分）

  1. <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"
    >
  2. <htmlxmlns="http://www.w3.org/1999/xhtml">
  3. <head>
  4. <metahttp-equiv="Content-Type"content="text/html; charset=utf-8"/>
  5. <metaname="viewport"content="width=device-width, initial-scale=1.0, maximum-scale=3.0,user-scalable=no ">
  6. <title>考研調劑中心_考研調劑意向釋出系統_考研調劑_考研網（kaoyan.com）
    </title>
  7. <metaname="description"content=""/>
  8. <linkrel="stylesheet"type="text/css"href="http://img.kaoyan.com/tiaoji/css/tiaoji-h5.css"/>
  9. <linkhref="http://img.kaoyan.com/global/style/header.css"rel="stylesheet">
  10. <linkhref="http://img.kaoyan.com/yz/style/yz.index.css"rel="stylesheet">
  11. <scripttype='text/javascript'src='http://cbjs.baidu.com/js/m.js'></script>
  12. </head>
  13. <body>
  14. <divclass="kyHd">
  15.     <divclass="kyTop">
  16.         <scriptsrc="http://img.kaoyan.com/www/header-tiaoji.js"type="text/javascript"></script>
  17.         <scriptsrc="http://img.kaoyan.com/www/headera.js"type="text/javascript"></script>
  18.     </div>
  19. </div>
  20. <divstyle="height:10px;"></div>
  21. <divclass="w1000ad tc">
  22.     <scripttype="text/javascript">/*考研網-大通欄-通用*/var cpro_id = "u1773335";</script>
  23.     <scriptsrc="http://cpro.baidustatic.com/cpro/ui/c.js"type="text/javascript"></script>
  24. </div>
  25. <ulclass="nav"id="tjNav">
  26.     <li><ahref="http://tiaoji.kaoyan.com/"title="考研調劑首頁">調劑首頁</a></li>
  27.     <li><ahref="http://www.kaoyan.com/kaoyan/27/474572/"title="考研調劑流程"target="_blank">調劑流程</a></li>
  28.     <li><ahref="http://www.kaoyan.com/tiaoji/xinxi/"title="考研調劑資訊">調劑資訊</a></li>
  29.     <li><ahref="http://tiaoji.kaoyan.com/xinwen/"title="考研調劑新聞">調劑新聞</a></li>
  30.     <li><ahref="http://tiaoji.kaoyan.com/jingyan/"title="考研調劑經驗">調劑經驗</a></li>
  31.     <li><ahref="http://tiaoji.bbs.kaoyan.com/"title="考研調劑論壇"target="_blank">調劑論壇</a></li>
  32. </ul>
  33. <divclass="courseArea">
  34.     <ulclass="tjPicAd mt10 clear">
  35.         <li><scripttype="text/javascript">BAIDU_CLB_fillSlot("850729");</script></li>
  36.         <li><scripttype="text/javascript">BAIDU_CLB_fillSlot("850747");</script></li>
  37.         <li><scripttype="text/javascript">BAIDU_CLB_fillSlot("850763");</script

相關推薦

抓取網頁資料並解析Android

這天遇到這樣一個需求：這種頁面資料可以抓取嗎？ 隨後提供了賬號、密碼和網站地址： 帳號：kytj1     密碼：******************     登陸地址：http://student.tiaoji.kaoyan.com/tjadm 主要思路： 1、使用F

Python爬蟲 BeautifulSoup抓取網頁資料 並儲存到資料庫MySQL

最近剛學習Python，做了個簡單的爬蟲，作為一個簡單的demo希望幫助和我一樣的初學者 程式碼使用python2.7做的爬蟲  抓取51job上面的職位名，公司名，薪資，釋出時間等等 直接上程式碼，程式碼中註釋還算比較清楚 ，沒有安裝mysql需要遮蔽掉相關程式碼：#!/u

有搜尋條件根據url抓取網頁資料(java爬取網頁資料)

最近有一個任務抓取如下圖的網頁資料  要獲取前一天的資料進行翻頁抓取資料並存入資料庫   如果就只是抓取當前頁的資料  沒有條件和翻頁資料 這個就比較簡單了 但是要選取前一天的資料,還有分頁資料 一開始的思路就想錯了(開始想的是觸發查詢按鈕和

python抓取網頁資料處理後視覺化

抓取文章的連結，訪問量儲存到本地 1 #coding=utf-8 2 import requests as req 3 import re 4 import urllib 5 from bs4 import BeautifulSoup 6 import sys 7 import code

Python爬取網頁資料並匯入表格

import requests import time import random import socket import http.client from bs4 import BeautifulSoup import csv def getContent(url

(PHP)用cURL抓取網頁資訊並替換部分內容

<?php /** * 用cURL抓取網頁資訊並替換部分內容 * User: Ollydebug * Date: 2015/11/11 * Time: 19:13 */ $curlo

Python抓取網頁資料的終極辦法

假設你在網上搜索某個專案所需的原始資料，但壞訊息是資料存在於網頁中，並且沒有可用於獲取原始資料的API。 所以現在你必須浪費30分鐘寫指令碼來獲取資料（最後花費 2小時）。 這不難但是很浪費時間。     Pandas庫有一種內建的方法，可以從名為re

python多執行緒抓取網頁內容並寫入MYSQL

自己的第一個多執行緒練習，中間踩了不少坑，程式寫的很渣，但是勉強能實現功能需求了 ，實際上抓取網頁是多執行緒在MYSQL寫入的時候是加了執行緒鎖的 ，實際上感覺就不是在多執行緒寫入了，不過作為第一個練習程式就這樣吧 ，後續部落格還會繼續更新優化版本。## htm

JAVA抓取網頁圖片並下載到本地

package com.yong.util; import java.io.File; import java.io.FileOutputStream; import java.io.InputStream; import java.net.URL; import jav

python的BeautifulSoup實現抓取網頁資料

1環境：pycharm，python3.4 2.原始碼解析 import requests import re from bs4 import BeautifulSoup #通過requests.get獲取整個網頁的資料 def getHtmlText(url):    

如何通過jsoup網路爬蟲工具爬取網頁資料,並通過jxl工具匯出到excel

 1：閒話少說,直接看需求: 抓取的url:http://www.shparking.cn/index.php/welcome/municipal_parking?key=&per_page=.  參考的資料:http://blog.csdn.net/lmj6235

HtmlUnit、httpclient、jsoup爬取網頁資訊並解析

1.爬取頁面效果圖 點選"百度一下"按鈕前頁面 點選"百度一下"按鈕後頁面 天涯社群登入頁面 登入進去之後個人主頁 二、具體實現程式碼 HtmlUnit(底層也

Java抓取網頁資料（原網頁+Javascript返回資料）

轉載請註明出處！ 有時候由於種種原因，我們需要採集某個網站的資料，但由於不同網站對資料的顯示方式略有不同！ 本文就用Java給大家演示如何抓取網站的資料：（1）抓取原網頁資料；（2）抓取網頁Jav

抓取網頁資料 A標籤的HREF 值

在工作中，我們有時候需要從特定的網頁中抓取我們想要的資料，由於工作的需要，我給大家推薦一個專門的抓取類：Winista.HtmlParser.dll 當我們需要從有規律的網頁中提取資料時，如table tr td; ul li之類的，如果用正則表示式，或者做字串的處理，會非常

遠端抓取頁面資訊並解析XML

XmlTransfer.java  負責連結對方伺服器 package untitled1; import java.net.URL;import java.net.URLConnection;import java.net.HttpURLConnection;import

c#抓取網頁（帶解析js）

抓取中國銀行匯率 （phantomjs-1.9.2-windows + Selenium.WebDriver.3.8.0） 直接上程式碼 using LTITools.util; using OpenQA.Selenium; using OpenQA.Selenium.P

node.js 小爬蟲抓取網頁資料（2）

node.js 小爬蟲抓取網頁資料 在原來的基礎上，採用了promise的模組，使其可以一次性多頁面的爬取網頁資料。 var http = require('http') var Promise = require('promise') var cheerio = re

goLang 多執行緒抓取網頁資料

突然有個想法想用goLang快速的抓取網頁資料,於是想到了 多執行緒進行頁面抓取 package main import ( "fmt" "log" "net/http" "os" "st

【php網頁爬蟲】php抓取網頁資料

外掛介紹： PHP Simple HTML DOM解析類：Simple HTML DOM parser 幫我們很好地解決了使用 php html 解析 問題。可以通過這個php類來解析html文件，對其中的html元素進行操作 (PHP5+以上版本)。 使用方法： 1

c# 抓取網頁驗證碼並post資料

如果想開發半自動的註冊機程式，那麼把驗證碼讀取到winform裡面，然後提交資料是必須的流程，這篇博文記錄一下如何抓取網頁上面的驗證碼，注意不是驗證碼識別。有的網站會驗證Cookie，有的不會，本文包含Cookie讀取提交。 首先生命一個全域性的Cookie變數 priva