一、簡單介紹：
技術方面主要包括：
（1）技術選型：
1） 課程設計使用的開發語言是C#。
2）課程設計選用了檔案流方式獲取網站資料。
3）課程設計使用多執行緒抓取網頁程式碼。
4）課程設計使用了正則表示式對原始碼進行解析處理。

(2)程式執行流程：
通過圖示可以更形象的瞭解程式執行的整個流程：
1）程式首先下載網站首頁的原始碼
2）對首頁原始碼進行分析，提取出網站建設類目下的連結並存儲到佇列中。
3）運用多執行緒，分別同時下載佇列中的連結。
4）利用正則表示式對下載的連結原始碼進行分析。提取圖片的URL並下載圖片。擷取需要的文字資訊。
5）儲存下載的文字和圖片。把下載分析連結的資訊顯示在操作介面上。

程式的整體流程：

二、再貼程式碼：

using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using System.Collections;
using System.Threading;
using System.Net;
using System.IO;
using System.Text.RegularExpressions;
using
 
 System.Diagnostics;

namespace crawlWebsiteAndExtractInfo
{

    public partial class frmCrawlWebsite : Form
    {
        public static Queue<String> q = new Queue<string>();
        public static string[] surl = new string[100];       //照片冗餘
        public static int a = 0;
        public static
 
 int j = 0;
        //public static int m = 0;
        public static bool b = false;
        public static object locker = new object();//新增一個物件作為鎖
        public static object locker1 = new object();
        public static object locker2 = new object();
        public static object locker3 = new object();
        public static Stopwatch watch = new Stopwatch();
        public static bool flag=true;
        public static string textbox = string.Empty;
        public int Num=5;
         //string[] surl = new string[300];
        public frmCrawlWebsite()
        {
            InitializeComponent();
        }

        private void btnCrawlAndExtract_Click(object sender, EventArgs e)
        {

            //獲得網址
            //http://www.hyzbi.com
            string urlToCrawl = txbUrlToCrawl.Text;

            //HTTP請求
            HttpWebRequest req = (HttpWebRequest)WebRequest.Create(urlToCrawl);
            //GET方法
            req.Method = "GET";
            //獲得HTTP回覆
            HttpWebResponse resp = (HttpWebResponse)req.GetResponse();
            //定義編碼方式
            string htmlCharset = "utf-8";
            //編碼方式
            Encoding htmlEncoding = Encoding.GetEncoding(htmlCharset);
            StreamReader sr = new StreamReader(resp.GetResponseStream(), htmlEncoding);
            //顯示html內容
            string respHtml = sr.ReadToEnd();
            rtbExtractedHtml.Text = respHtml;
        }

        private void btnExtractInfo_Click(object sender, EventArgs e)
        {
            //找到網站建設類目下面的連線         
            string h1userP = @"/portal/article/index/cid/19/id/(\d+)";
            //捕獲匹配
            MatchCollection foundH1user = (new Regex(h1userP)).Matches(rtbExtractedHtml.Text);
            foreach (Match m in foundH1user)
            {

                string url = "http://www.hyzbi.com" + (string)m.Value;

                q.Enqueue(url);


            }
            Thread[] downloadThread;//聲名下載執行緒

            downloadThread = new Thread[21];//為執行緒申請資源，確定執行緒總數
            //int i=0;
           // richTextBox1.Text = "aaa";

            watch.Start();
            for (int i = 0; i <Num; i++)
            {
                ThreadStart startDownload = new ThreadStart(DownLoad);
                //ParameterizedThreadStart startDownload = new ParameterizedThreadStart(DownLoad);

                downloadThread[i] = new Thread(startDownload);//指定執行緒起始設定
                downloadThread[i].Start();//逐個開啟執行緒
            }

            //while (q.Count != 0) ;




        }
        public delegate void ProcessDelegate();
        public void richTextShow(string ss)
        {
            string s=ss;
            richTextBox1.Text=s;

        }

        public void picture(string rrh)
        {
            string rh = rrh;
            string pp = @"src\s*=\s*[""']?([^'"" >]+?)[ '""][^>]*?>";
            MatchCollection found = (new Regex(pp)).Matches(rh);

            foreach (Match mm in found)
            {

                string urll = "http://www.hyzbi.com" + (string)mm.Groups[1].Value;
                int id = Array.IndexOf(surl, urll);
                //exists = ((IList)surl).Contains(urll);
                if (id == -1)
                {
                    surl[a] = urll;
                    a++;
                    try
                    {
                        Bitmap img = null;
                        HttpWebRequest req = (HttpWebRequest)(WebRequest.Create(urll));
                        req.Method = "GET";
                        HttpWebResponse res = (HttpWebResponse)(req.GetResponse());
                        img = new Bitmap(res.GetResponseStream());
                        lock (locker3)
                        {
                            img.Save(@"e:/c/" + a + ".jpg");
                        }
                        //m++;
                    }
                    catch (Exception ee)
                    {

                    }

                }
            }
        }
       // public void picture save()
        public string wenben(string rrh)
        {
            string rh = rrh;
            //抓取標題
            //string hstrOutput=null;
            string bt = @"<h2>(.*)</h2>";
            //StreamWriter sw = new StreamWriter("e:/b.txt", true);
            //MatchCollection bbt = (new Regex(bt)).Matches(rh);
            Match nnn = (new Regex(bt)).Match(rh);

           // foreach (Match nn in bbt)
            //{
                //richTextBox1.Text += nn.Value + "\n";
                Regex hregex = new Regex("<.+?>", RegexOptions.IgnoreCase);
                string hstrOutput = hregex.Replace(nnn.Value, "");//替換掉"<"和">"之間的內容
                hstrOutput = hstrOutput.Replace("<", "");
                hstrOutput = hstrOutput.Replace(">", "\r");
                hstrOutput = hstrOutput.Replace(" ", "");
               // sw.WriteLine(hstrOutput);
               // sw.WriteLine("\n");
           // }
                string p = @"<p.*>(<span .*>)?(.*)(</span>)?</p>";
                MatchCollection tp = (new Regex(p)).Matches(rh);
                lock (locker)
                {
                    StreamWriter sw = new StreamWriter("e:/b.txt", true);
                    sw.WriteLine(hstrOutput);
                    sw.WriteLine("\n");
                    //StreamWriter sw = new StreamWriter("e:/b.txt", true);
                    //string p = @"<p.*>(<span .*>)?(.*)(</span>)?</p>";
                    //MatchCollection tp = (new Regex(p)).Matches(rh);
                    foreach (Match n in tp)
                    {
                        Regex regex = new Regex("<.+?>", RegexOptions.IgnoreCase);
                        string strOutput = regex.Replace(n.Value, "");//替換掉"<"和">"之間的內容

                        strOutput = strOutput.Replace("<", "");

                        strOutput = strOutput.Replace(">", "\r");

                        strOutput = strOutput.Replace(" ", "");

                        //sw.WriteLine(n.Groups[0].Value);
                        sw.WriteLine(strOutput);
                        sw.WriteLine("\n");
                    }
                    sw.Close();
                }
            return hstrOutput;
        }
        public  void DownLoad()
        {

                while (true)
                {
                    string url;
                    string h2;
                    if (q.Count != 0)
                    {
                        lock (locker1)
                        {
                            url = q.Dequeue();
                            j++;
                        }
                        //richTextBox1.Text = url;
                        try
                        {
                            HttpWebRequest rr = (HttpWebRequest)WebRequest.Create(url);
                            rr.Method = "GET";
                            HttpWebResponse resp = (HttpWebResponse)rr.GetResponse();

                            string htmlCharset = "utf-8";
                            Encoding htmlEncoding = Encoding.GetEncoding(htmlCharset);
                            StreamReader sr = new StreamReader(resp.GetResponseStream(), htmlEncoding);
                            string rh = sr.ReadToEnd();
                            picture(rh);
                            h2 = wenben(rh);
                            lock (locker2)
                            {

                                ProcessDelegate showProcess = delegate()
                                {

                                    richTextBox1.AppendText(url + h2 + DateTime.Now.ToString() + "\n");

                                };

                                richTextBox1.Invoke(showProcess);

                            }



                        }
                        catch (Exception eee)
                        {

                        }
                    }
                    else
                    {
                       /* flag = false;
                        watch.Stop();
                        string time = watch.ElapsedMilliseconds.ToString();
                        ProcessDelegate showTime = delegate()
                        {

                            richTextBox1.AppendText("共用時" + time + "\n");

                        };

                        richTextBox1.Invoke(showTime);*/
                        break;
                    }

                }
        }



       // }

        private void button1_Click(object sender, EventArgs e)
        {
            //string path1 = @"e:\c";  //開啟D盤下的log.txt檔案
            //System.Diagnostics.Process.Start(path1);
            string path2 = @"e:\c";  //呼叫資源管理器，開啟e盤下的c資料夾
            System.Diagnostics.Process.Start("explorer", path2);
        }

        private void button2_Click(object sender, EventArgs e)
        {

                string path1 = @"e:\b.txt";
                System.Diagnostics.Process.Start("explorer",path1);

        }

        private void button3_Click(object sender, EventArgs e)
        {
            try
            {
                textbox = this.textBox1.Text;
                Num = Convert.ToInt32(textbox);
            }
            catch (Exception eee)
            {

            }

        }

    }
}

三、多說一點：
（1）檔案流方式：
C#中通常有三種方法獲取網頁內容。第一種方式為：使用webclient、第二種方式為：webBrowser、第三種方式為HttpWebRequest/HttpWebResponse
。此次程式設計中選用的是第三種方式即HttpWebResquest/HttpWebResponse方式。這是一種比較通用的獲取方式。
（2）c#中的多執行緒：
在Visul C#中System.Threading 名稱空間提供一些使得可以進行多執行緒程式設計的類和介面，其中執行緒的建立有以下三種方法：Thread、ThreadPool、Timer。
本次課程設計中選用的是Thread方式。這也許是最複雜的方法，但它提供了對執行緒的各種靈活控制。首先你必須使用它的建構函式建立一個執行緒例項，它的引數比較簡單，只有一個ThreadStart 委託：
public Thread(ThreadStart start);
然後呼叫Start（）啟動它。
（3）正則表示式：
在編寫處理字串的程式或網頁時，經常會有查詢符合某些複雜規則的字串的需要。正則表示式就是用於描述這些規則的工具。換句話說，正則表示式就是記錄文字規則的程式碼。
在此次課程設計中，使用了正則表示式對網頁的原始碼進行擷取和分析，以獲得想要的資料資訊。
程式流程詳解：
（1）程式使用檔案流方式從首頁hyzbi.com中下載整個頁面的原始碼。
（2）通過使用正則表示式，將網站建設類目下的網頁URL擷取下來，並儲存在一個佇列中。
（3）啟用多執行緒，每個執行緒中從佇列中拿取一個URL。此時此時使用了互斥鎖，避免執行緒衝突。執行緒每拿取一個URL就將佇列中的URL記錄刪除，避免重複下載。執行緒中同樣運用檔案流的方式下載網頁URL的原始碼。並封裝了兩個函式，分別對應圖片和文字的下載分析。
當執行緒工作完成時，將完成時間以及完成專案顯示在操作介面上。
（4）對於圖面的解析，使用正則表示式擷取網頁URL中所有的圖片URL。把圖片URL儲存在陣列中，美獲得一個URL就和陣列中的項比較，有重複項就捨棄，無重複項就下載，這樣就做到了圖片的冗餘，避免下載重複的圖片。
（5）對於文字的解析，則使用了正則表示式的擷取和替代。在文字的儲存上，也加了一個互斥鎖，使同一時刻只有一個執行緒可以訪問本地檔案儲存文字。
四、程式執行結果：
1、主程式介面

2、爬取的網站中的圖片資訊：

3、爬取的網站中的文字資訊：

四、更多瞭解：
完整的程式碼及設計說明我已上至資源，手戳這裡是連結兒
【注】程式中指定了爬取的網站網址
不知為什麼貼的程式碼，移動端看，csdn的編輯器會出亂碼？？？
我看了一下，電腦上看，顯示的程式碼是正確的，最好把程式碼從我的資源中下下來看，沒有問題。