你沒有看錯，爬網頁資料，C# 也可以像 Jquery 那樣
阿新 • • 發佈：2020-09-22
## 一：背景
### 1. 講故事
前段時間搞了一個地方性民生資訊號，資訊嘛，都是我抄你的，你抄官媒的，小市民都喜歡奇聞異事，所以就存在一個需求，如何去定向抓取奇聞異事的地方號上的新聞，其實做起來很簡單，用邏輯迴歸即可，這篇主要討論如何去抓取，在 C# 中大家都知道抓取通用的庫是 HtmlAgilityPack，但是這個庫主流的做法是採用 xpath 提取網頁內容，這就讓我很不爽了，畢竟不熟悉莫名的抵抗哈，像我這個年紀的碼農，被 Jquery 教育了至少 5-6 年，所以必須用 類Jquery 的方式，在 python 中有 pyquery 做這件事情，那在 C# 中有沒有類似的方式呢？ 嘿嘿，萬能的 github 上還真有。。。 就是本篇介紹的 CSQuery。
### 二：CSQuery
### 1. 安裝
github的地址： https://github.com/zone117x/CsQuery 然後在vs中 nuget 一下即可：
### 2. 舉幾個例子
一切都準備就緒了，那怎麼用呢？ 不著急，我以部落格園舉兩個例子。
#### 1) 將首頁中的 友情連線 提取到
如上圖，要想獲取這裡的 `友情連結`幾個大字，直接用 text() 肯定是不行的，預設情況它會將所有的子節點的文字也會抓到，如下圖：
那怎麼處理呢？ 可以用 jquery 提供的 contents 方法，然後在獲取的所有子節點中判斷是否有 文字節點，最後獲取文字節點的內容即可，如下程式碼：
用js是搞定了，那用 CSQuery 程式碼怎麼搞定呢？模仿唄，如下程式碼：
``` C#
static void Main(string[] args)
{
var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var content = jquery["#friend_link"].Contents().Filter((dom) =>
{
return dom.NodeType == NodeType.TEXT_NODE;
}).Text();
Console.WriteLine(content);
}
```
我不知道用 xpath 提取這樣的內容麻不麻煩，不過用 jquery 方式不簡單，但輕車熟路。
#### 2) 如何將 html 中的某些元素標顏色
有時候為了業務需要將某些 html 標籤改一下顏色，比如說將首頁的 tabmenu 中 `博問` 和 `專區` 改成紅色，如下圖：
那用 CSQuery 怎麼處理呢？ 如果玩過 jquery，一般來說步驟如下：
* 使用 each 遍歷每一個子 li 標籤
* 使用 CSS 方法給 li 中 a 標籤賦樣式
* 使用 Render 渲染生成一個新的的html
有了步驟，C#程式碼如下：
``` C#
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var jquery = CQ.CreateDocument(new WebClient().DownloadString("http://cnblogs.com"));
var html = jquery["#nav_left li"].Each(dom =>
{
var self = jquery[dom];
var text = self.Text();
if (text == "博問" || text == "專區")
{
self.Find("a").CssSet(new { color = "red" });
}
}).Render();
}
```
#### 3) 其他的操作方法
除了上面兩個操作方法外，你還可以使用 after，before，replaceAll,IS 等等一百來個實用的方法，這篇肯定也無法一一介紹了，大家有興趣可以下載下來看一看，搗鼓搗鼓。
### 三：其他用途
除了抓取html中的元素，我覺得這玩意還可以用在傳送郵件時操控郵件模板，畢竟在很久以前大家都是用jquery來繪製 html，所以用 CSQuery 也是可以的，相對使用 xslt 有利有弊吧，接下來做一個例子：
### 1. 生成一個html模板
``` html
- ` 節點內。
``` C#
class Program
{
static void Main(string[] args)
{
Config.HtmlEncoder = HtmlEncoders.None;
var strlist = new string[2] { "1", "2" };
var path = Environment.CurrentDirectory + "\\2.html";
var jquery = CQ.CreateFromFile(path);
foreach (var str in strlist)
{
jquery.Find("#main").Append($"
- {str}
- {str}
- 1
- 2
