由於公司業務需要，減輕市場部人員工作量，想到開發一個團購網資料抓取程式

一開始大部分網站都沒啥問題，用抓取內容+正則就能取到資料

碰到一個窩窩團，比較噁心，資料是用ajax生成的，於是在網上找到了一段比較牛逼的程式碼

using System;
using System.Collections.Generic;
using System.Text;
using System.Threading;
using System.Windows.Forms;

namespace GroupBuyStat
{
    public class WebBrowserCrawler
    {
        // WebBrowser
        private WebBrowser _WebBrowder;

        private string _r;
        private string _p;

        //最後結果
        private string _Result {
            get { return _r; }
            set { _r = value; }
        }

        //網址
        private string _Path {
            get { return _p; }
            set { _p = value; }
        }


        /// <summary>
        /// 對外公開的Method
        /// </summary>
        /// <param name="url">URL Path</param>
        /// <returns></returns>
        public string GetReult(string url)
        {

            _Path = url;


            Thread mThread = new Thread(FatchDataToResult);
            //Apartment 是處理序當中讓物件共享相同執行緒存取需求的邏輯容器。 同一 Apartment 內的所有物件都能收到 Apartment 內任何執行緒所發出的呼叫。 
            //.NET Framework 並不使用 Apartment；Managed 物件必須自行以安全執行緒 (Thread-Safe) 的方式運用一切共享資源。
            //因為 COM 類別使用 Apartment，所以 Common Language Runtime 在 COM Interop 的狀況下呼叫出 COM 物件時必須建立 Apartment 並且加以初始化。 
            //Managed 執行緒可以建立並且輸入只容許一個執行緒的單一執行緒 Apartment (STA)，或者含有一個以上執行緒的多執行緒 Apartment (MTA)。 
            //只要把執行緒的 ApartmentState 屬性設定為其中一個 ApartmentState 列舉型別 (Enumeration)，即可控制所建立的 Apartment 屬於哪種型別。 
            //因為特定執行緒一次只能初始化一個 COM Apartment，所以第一次呼叫 Unmanaged 程式碼之後就無法再變更 Apartment 型別。
            //From : http://msdn.microsoft.com/zh-tw/library/system.threading.apartmentstate.aspx
            mThread.SetApartmentState(ApartmentState.STA);
            mThread.Start();
            mThread.Join();

            return _Result;

        }

        /// <summary>
        /// Call _WebBrowder 抓取資料
        /// For thread Call
        /// </summary>
        private void FatchDataToResult()
        {

            _WebBrowder = new WebBrowser();

            _WebBrowder.DocumentCompleted += _WebBrowder_DocumentCompleted;
            _WebBrowder.Navigate(_Path);

            //處理目前在訊息佇列中的所有 Windows 訊息。
            //如果在程式碼中呼叫 DoEvents，您的應用程式就可以處理其他事件。例如，如果您的表單將資料加入 ListBox 並將 DoEvents 加入程式碼中，則當另一個視窗拖到您的表單上時，該表單將重新繪製。
            //如果您從程式碼移除 DoEvents，您的表單將不會重新繪製，直到按鈕按一下的事件處理常式執行完畢。
            //while (_WebBrowder.StatusText != "完成")
            int i = 0;
            while (_WebBrowder.ReadyState != WebBrowserReadyState.Complete)
            {
                Application.DoEvents();
            }

            _WebBrowder.Dispose();

        }

        //結束後回填
        void _WebBrowder_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)
        {
            _Result = (sender as WebBrowser).Document.Body.InnerHtml;

        }
    }
}
 

情急之下，查看了原始碼，找到了ajax呼叫的一個地址，通過抓取這個地址返回的內容，實現了抓取資料，這裡也算是拋磚引玉，不能被傳統思路所束縛。