2. 程式人生 > >用C#實現網路爬蟲（一）

用C#實現網路爬蟲（一）

阿新 • • 發佈：2019-01-24
1 private void ReceivedData(IAsyncResult ar) 2 { 3 RequestState rs = (RequestState)ar.AsyncState; //獲取引數 4 HttpWebRequest req = rs.Req; 5 Stream resStream = rs.ResStream; 6 string url = rs.Url; 7 int depth = rs.Depth; 8 string html = null; 9 int index = rs.Index; 10
int read = 0; 11 12 try 13 { 14 read = resStream.EndRead(ar); //獲得資料讀取結果 15 if (_stop)//判斷是否中止下載 16 { 17 rs.ResStream.Close(); 18 req.Abort(); 19 return; 20 } 21 if (read > 0) 22 { 23 MemoryStream ms = new
MemoryStream(rs.Data, 0, read); //利用獲得的資料建立記憶體流 24 StreamReader reader = new StreamReader(ms, _encoding); 25 string str = reader.ReadToEnd(); //讀取所有字元 26 rs.Html.Append(str); // 新增到之前的末尾 27 var result = resStream.BeginRead(rs.Data, 0, rs.BufferSize, //再次非同步請求讀取資料
28 new AsyncCallback(ReceivedData), rs); 29 return; 30 } 31 html = rs.Html.ToString(); 32 SaveContents(html, url); //儲存到本地 33 string[] links = GetLinks(html); //獲取頁面中的連結 34 AddUrls(links, depth + 1); //過濾連結並新增到未下載集合中 35 36 _reqsBusy[index] = false; //重置工作狀態 37 DispatchWork(); //分配新任務 38 } 39 catch (WebException we) 40 { 41 MessageBox.Show("ReceivedData Web " + we.Message + url + we.Status); 42 } 43 }

相關推薦

用C#實現網路爬蟲（一）

1 private void ReceivedData(IAsyncResult ar) 2 { 3 RequestState rs = (RequestState)ar.AsyncState; //獲取引數 4 HttpWebRequest req = rs.Req; 5

Python C/S 網路程式設計（一）之 三種方法實現天氣預報小程式

1. 首先明白下協議棧和庫的概念： 協議棧（Protocol Stack）: 是指網路中各層協議的總和，其形象的反映了一個網路中檔案傳輸的過程：由上層協議到底層協議，再由底層協議到上層協議。 庫（Library）:主要用來解析要使用的網路通訊協議，包含Python內建標準庫

用Websocket實現Web IM（一）

前言：最近領導要求做一版簡單的類似web版微信web IM作為其他產品的過渡，經過跟同事討論後，決定用websocket嘗試做一下（微信使用的是長輪詢保持連線）。首先要解決的是掃碼登入和重連機制問題，雖然實現起來很簡單，但是以防忘記，還是要記錄一下。 一、掃碼登陸 1、二維碼

python網路爬蟲（一）

網路爬蟲之前奏 網路爬蟲之規則 Requests庫入門 requests庫的安裝 requests的詳細資訊 Win平臺: “以管理員身份執行” cmd，執行pip3 install requests。 requests庫安裝成功與否的測試

[Python]網路爬蟲（一）：抓取網頁的含義和URL基本構成

一、網路爬蟲的定義 網路爬蟲，即Web Spider，是一個很形象的名字。 把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。 網路蜘蛛是通過網頁的連結地址來尋找網頁的。 從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址

python3實現網路爬蟲（3）--BeautifulSoup使用（2）

在這一次的內容中，我們繼續討論BeautifulSoup的一些操作，我們這次只討論幾個在實踐中用處特別大的幾個函式。 這次我們將學習通過屬性查詢標籤的方法，標籤組的使用。 我們一起回憶一下，基本上，我們見過的每個網站都會使用層疊樣式表（css，不懂的可以補一下網頁相關知識）

基於HtmlUnit網路爬蟲（一）

由於時間關係，我不知道下一集會什麼時候寫，但是歡迎大家交流。 很多網路爬蟲新手肯定會遇到的2個問題：執行JavaScript和處理Ajax請求。 好了，我先貼一些關鍵配置的程式碼，使得我們模擬的瀏覽器可以執行CSS和JavaScript。 BrowserVersion

網路爬蟲（一）：爬蟲的含義和URL基本構成——（瞭解）

一、網路爬蟲的定義網路爬蟲，即Web Spider，把網際網路比喻成一個蜘蛛網，那麼Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是通過網頁的連結地址來尋找網頁的。從網站某一個頁面（通常是首頁）開始，讀取網頁的內容，找到在網頁中的其它連結地址，然後通過這些連結地址尋找下一個網

python3實現網路爬蟲（2）--BeautifulSoup使用（1）

這一次我們來了解一下美味的湯--BeautifulSoup，這將是我們以後經常使用的一個庫，並且非常的好用。 BeautifuleSoup庫的名字取自劉易斯·卡羅爾在《愛麗絲夢遊仙境》裡的同名詩歌。在故事中，這首歌是素甲魚唱的。就像它在仙境中的說法一樣，BeautifulS

教你如何一步一步用Java實現飛機大戰（一）

資源交流群 飛機大戰第一天 1.抽象類：飛行物 public abstract class FlyingObject{ protected BufferedImage image; protected int width; //寬 protected int h

python3實現網路爬蟲（1）--urlopen抓取網頁的html

準備開始寫一些python3關於爬蟲相關的東西，主要是一些簡單的網頁爬取，給身邊的同學入門看。 首先我們向網路伺服器傳送GET請求以獲取具體的網頁，再從網頁中讀取HTML內容。        我們大家平時都使用網路瀏覽器，並且它已經成為我們上網不可或缺的軟體。它建立資訊的資

用 Scrapy+Mariadb 實現漢典資料爬蟲（一）——開發環境的選擇

最近準備搞大資料，大資料的第一研究方向當屬爬蟲了，所以就決定從爬蟲入手，一步一步做研究。之前用C#寫過一個百度雲關係網路爬蟲，親身經歷了爬取速度從10s一個（單機百度雲爬取速度限制）到100個/s（三個端，100個）的改變，也積攢了一些經驗。後來曾想過用這些經驗寫一個爬蟲框

基於Java的網路爬蟲實現抓取網路小說（一）

package novel.spider.impl; import java.util.ArrayList; import java.util.List; import org.apache.http.client.methods.CloseableHttpResponse; import org.apa

C++類和物件（一）&&實現OFFSETOF巨集&&THIS指標

一.目錄 　　1.物件的相關知識 　　2.類的定義 　　3.類的例項化 　　4.類物件模型 　　5.模擬實現offsetof巨集 　　6.this指標 二.正文 1.物件的相關知識 　　C語言是面向過程的，關注的是過程，分析求解問題的步驟，通過函式呼叫逐步解決問題

使用php實現簡單爬蟲（一種通用的爬蟲思想）

概述 現在爬蟲技術算是一個普遍的技術了，各個語言的爬蟲百家爭鳴，但是根據筆者自己的感覺還是python是主流。爬蟲涉及到太多的東西，筆者並不是專業的爬蟲工程師，只不過個人興趣分享一下。由於筆者是php工作，所以就使用php來進行簡單爬蟲。不過我的方法應該是很通用的，我相信java，

用python來實現機器學習（一）：線性迴歸（linear regression）

需要下載一個data：auto-mpg.data 第一步：顯示資料集圖 import pandas as pd import matplotlib.pyplot as plt columns = ["mpg","cylinders","displacement","horsepowe

C/S+P2P網路模型（一）--聊天

原文地址 從今天開始我們來實現一個C/S+P2P網路模型，主要功能包括：聊天和傳輸檔案。 聊天分群聊和私聊，雖然不是真的像QQ那樣有個QQ群，但是這樣類比容易理解，在後面我們會仔細說明。 前面我寫過一篇文章講過組播，我們就用組播來實現p2p網路模型。首先而且是最關鍵的一點是：每一個程式例

【 C# 資料結構】（一） -------------------------- 泛型帶頭節點的單鏈表，雙向連結串列實現

在程式設計領域，資料結構與演算法向來都是提升程式設計能力的重點。而一般常見的資料結構是連結串列，棧，佇列，樹等。事實上C#也已經封裝好了這些資料結構，在標頭檔案 System.Collections.Generic 中，直接建立並呼叫其成員方法就行。不過我們學習當然要知其然，亦知其所以然。 本文實現的是連結

C++類和物件（一）&&實現OFFSETOF巨集&&THIS指標

一.目錄 　　1.物件的相關知識 　　2.類的定義 　　3.類的例項化 　　4.類物件模型 　　5.模擬實現offsetof巨集 　　6.this指標 二.正文 1.物件的相關知識 　　C語言是面向過程的，關注的是過程，分析求解問題的步驟，通過函式呼叫逐步解

手把手教你用nginx開發自己的伺服器------利用nginx實現負載均衡（一）------負載均衡的整體架構

之前我們講的是用nginx做一個簡單的helloworld功能，幫助大家瞭解一下nginx中的基本框架，今天我們就來學習下如何用nginx實現一個負載均衡伺服器。 為什麼要先講nginx的負載均衡模組呢？主要是nginx現在在各個大廠的應用場景主要就是做7層負載均衡和一些C