2. 程式人生 > >c#抓取頁面亂碼解決辦法

c#抓取頁面亂碼解決辦法

阿新 • • 發佈：2019-01-24

最近在做一個頁面採集的過程中發現，頁面抓取後亂碼，而且時好時不好。然後發現編碼也沒有問題，原來是GZIP壓縮導致的。

在朋友們的熱心幫助下終於解決了。下面就貼程式碼吧,抓取gzip及其它頁面防止亂碼。

c#net如何抓取gzip及其它頁面防止亂碼

核心程式碼如下：

C#程式碼 
  1. using (HttpWebResponse response = (HttpWebResponse)req.GetResponse())  
  2.         {  
  3.             if (response.ContentEncoding.ToLower().Contains("gzip"))  
  4.             {  
  5.                 using
     (GZipStream stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress))  
  6.                 {  
  7.                     using (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  8.                     {  
  9.                         sHTML = reader.ReadToEnd();  
  10.                     }  
  11.                 }  
  12.             }  
  13.             else if (response.ContentEncoding.ToLower().Contains("deflate"))  
  14.             {  
  15.                 using (DeflateStream stream = new DeflateStream(response.GetResponseStream(), CompressionMode.Decompress))  
  16.                 {  
  17.                     using
     (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  18.                     {  
  19.                         sHTML = reader.ReadToEnd();  
  20.                     }  
  21.                 }  
  22.             }  
  23.             else  
  24.             {  
  25.                 using (Stream stream = response.GetResponseStream())  
  26.                 {  
  27.                     using (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  28.                     {  
  29.                         sHTML = reader.ReadToEnd();  
  30.                     }  
  31.                 }  
  32.             }  
  33.         }  

完整前臺程式碼gethtml.aspx

C#程式碼 
  1. <%@ Page Language="C#" AutoEventWireup="true" CodeFile="gethtml.aspx.cs" Inherits="gethtml" ValidateRequest="false" %>  
  2. <!DOCTYPE html>  
  3. <html xmlns="http://www.w3.org/1999/xhtml">  
  4. <head runat="server">  
  5. <meta http-equiv="Content-Type" content="text/html; charset=utf-8"/>  
  6.     <title>抓取頁面</title>  
  7. </head>  
  8. <body>  
  9.     <form id="form1" runat="server">  
  10.     <div>  
  11.         url地址：<asp:TextBox ID="url" runat="server" Text="http://www.baidu.com" style="width:400px;"></asp:TextBox><asp:Button ID="Button1" runat="server" Text="抓取" OnClick="Button1_Click" /><br />  
  12.         <textarea name="code" id="code" runat="server" style="width:530px;height:300px;"></textarea>  
  13.     </div>  
  14.     </form>  
  15. </body>  
  16. </html>  

完整後臺程式碼gethtml.aspx.cs

C#程式碼 
  1. using System;  
  2. using System.Net;  
  3. using System.IO;  
  4. using System.Text;  
  5. using System.IO.Compression;  
  6. public partial class gethtml : System.Web.UI.Page  
  7. {  
  8.     protected void Page_Load(object sender, EventArgs e)  
  9.     {          
  10.     }  
  11.     public static string GetHtmlWithUtf(string url)  
  12.     {  
  13.         if (!(url.Contains("http://") || url.Contains("https://")))  
  14.         {  
  15.             url = "http://" + url;  
  16.         }  
  17.         HttpWebRequest req = (HttpWebRequest)HttpWebRequest.Create(url);  
  18.         req.UserAgent = "User-Agent: Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.2; .NET CLR 1.0.3705;)";  
  19.         req.Accept = "*/*";  
  20.         req.Headers.Add("Accept-Language", "zh-cn,en-us;q=0.5");  
  21.         req.ContentType = "text/xml";  
  22.         string sHTML = string.Empty;  
  23.         using (HttpWebResponse response = (HttpWebResponse)req.GetResponse())  
  24.         {  
  25.             if (response.ContentEncoding.ToLower().Contains("gzip"))  
  26.             {  
  27.                 using (GZipStream stream = new GZipStream(response.GetResponseStream(), CompressionMode.Decompress))  
  28.                 {  
  29.                     using (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  30.                     {  
  31.                         sHTML = reader.ReadToEnd();  
  32.                     }  
  33.                 }  
  34.             }  
  35.             else if (response.ContentEncoding.ToLower().Contains("deflate"))  
  36.             {  
  37.                 using (DeflateStream stream = new DeflateStream(response.GetResponseStream(), CompressionMode.Decompress))  
  38.                 {  
  39.                     using (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  40.                     {  
  41.                         sHTML = reader.ReadToEnd();  
  42.                     }  
  43.                 }  
  44.             }  
  45.             else  
  46.             {  
  47.                 using (Stream stream = response.GetResponseStream())  
  48.                 {  
  49.                     using (StreamReader reader = new StreamReader(stream, Encoding.UTF8))  
  50.                     {  
  51.                         sHTML = reader.ReadToEnd();  
  52.                     }  
  53.                 }  
  54.             }  
  55.         }  
  56.         return sHTML;  
  57.     }  
  58.     protected void Button1_Click(object sender, EventArgs e)  
  59.     {  
  60.         string urlstr = url.Text;  
  61.         code.InnerHtml = GetHtmlWithUtf(urlstr);  
  62.     }  
  63. }  

(完)

相關推薦

c#抓取頁面亂碼解決辦法

最近在做一個頁面採集的過程中發現，頁面抓取後亂碼，而且時好時不好。然後發現編碼也沒有問題，原來是GZIP壓縮導致的。 在朋友們的熱心幫助下終於解決了。下面就貼程式碼吧,抓取gzip及其它頁面防止亂碼。 核心程式碼如下： C#程式碼  using (Htt

VS2017 輸出中文時候亂碼 vs2017 c語言輸出中文亂碼 解決辦法

Visual Studio提供高階儲存選項功能，它能指定特定程式碼檔案的編碼規範和行尾所使用的換行符。在Visual Studio 2017中，該命令沒有預設顯示在“檔案”選單中。使用者需要手工設定，才能顯示該命令。操作方法如下：（1）單擊“工具”|“自定義”命令，彈出“自定義”對話方塊。（2）單擊“命令”

php 抓取頁面亂碼

在抓取頁面的時候出現類似�������這樣亂碼解決方法如下 1、轉換編碼 str=mbconvertencoding(str, “utf-8”, “GBK”); 2、資料經過gzip壓縮

JSP內容在頁面上顯示為亂碼解決辦法

預設為ISO，不支援中文編碼 將開頭的編碼統一改為UTF-8即可        //與HTML編碼集一致 <%@ page language="java" contentType="text/html; charset=UTF-8"&n

NodeJs抓取頁面html()方法亂碼

在如何用Nodejs分析一個簡單頁面一文中，我們爬取了部落格園首頁的 20 篇文章標題，輸出部分拼接了一個字串： var $ = cheerio.load(sres.text); var ans = ''; $('.titlelnk').each(function (ind

C++ \u中文亂碼解決辦法

以下是一個jsoncpp解析有\u中文json檔案的例子：std::string showname = rootOne[“showname”].asString();int len=strlen(showname.c_str())+1;char outch[M

Mac抓包工具Charles亂碼解決辦法

抓包亂碼情況如下： 解決方法： 安裝 SSL 證書 啟動 Charles 軟體，在選單中找到 Help -> SSL Proxying -> Install Charles Root Certificate. 如下圖所示： 圖片來自 隨後是這樣的

用file_get_contents抓取網頁亂碼的2種解決方式

今天自己在寫一個程式，抓取別人的網頁，之前公司有些功能也會需要，但是今天在抓取網頁的時候發現了一個問題 用file_get_contents抓取網頁發現如截圖所示的亂碼情況 於是用轉換編碼 $contents = iconv("gb2312", "utf-8//IGNO

curl抓取頁面時遇到重定向的解決方法

用php的curl抓取網頁遇到了問題，為闡述方便，將程式碼簡化如下：<?phpfunction curlGet($url) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt

C# HTTP請求返回內容為亂碼解決辦法

 研究了很久後來找了方法，不是編碼的問題，好像是因為返回的資料做了壓縮。 只要改成如下方式便可解決亂碼問題。 Stream stm = new System.IO.Compression.GZipStream(response.GetResponseStream(

前端/postman請求到後臺，後臺取資料中文亂碼，導致存入資料庫記錄亂碼——解決辦法

操作 我們從前端獲取資料後存入資料庫，此處使用postman模擬從前端傳值到後臺，具體如下： 引出的問題： 記錄新增成功，但新新增的記錄中文出現亂碼，具體如下： 很明顯，這不符合我們所想要的效果，那麼如何

JSP include 引入頁面檔案亂碼 解決辦法

解決JSP include 引入檔案出現亂碼解決辦法一： 第一種情況可以修改被include的檔案：1.當jsp include動態檔案時（jsp檔案）可以在被include的jsp檔案頭部加上程式碼：<%@ page language="java" content

Tomcat中文亂碼解決辦法

-1 mage ima img con utf-8 結點 tor http 有時候發現自己將中文編碼後還是會存在亂碼的情況，解決辦法就是在Server.xml中的Connector結點，配置 URIEncoding="UTF-8"即可 Tomcat中文亂碼解決辦法

Python HTTP庫requests中文頁面亂碼解決方案！

獲得 使用 http text odin 抽取 from Coding blog 把html編碼類型賦與獲取到文本 獲取html編碼類型： 1.使用apparent_encoding可以獲得真實編碼 1 >>> response.apparent_enc

JMeter結果樹響應數據中文亂碼解決辦法

亂碼 sam bin vid ide 編碼 provide nco per encoding編碼 打開apache-jmeter-2.11\bin\jmeter.properties文件，搜索“encoding”關鍵字，找到如下配置： # The encoding to b

.NET抓取數據範例 抓取頁面上所有的鏈接

object lar url www box 時間 amr 發布 .org 原文發布時間為：2009-11-15 —— 來源於本人的百度文章 [由搬家工具導入].NET抓取数据范例 

Source Insight 中文註釋為亂碼解決辦法（完美解決，一鍵搞定）【轉】

ash save sys lan sim edit ext pan character 轉自：http://blog.csdn.net/bjarnecpp/article/details/70174752 版權聲明：本文為博主原創文章，未經博主允許不得轉載。 S

Zabbix 改中文後亂碼解決辦法

zabbix 亂碼解決方法：將windows中的字體，替換zabbix PHP 中的字體。1. 打開 windows 控制面板——》字體——》如選擇 “黑體”——》上傳到Linux中fonts目錄下（rz命令）2. 將名字改為小寫 “simhei.ttf”3. 原字體文件備份mv /var/www/html/

charles抓包顯示亂碼解決方法

分享 charles 端口 tin ges eight resp 協議 域名 【問題現象】 在抓https協議請求時，Request和Response顯示亂碼了： 【解決辦法】 第一步：點擊 【工具欄-->Proxy-->SSL Proxying Se

svn亂碼解決辦法

target list 數據庫 lec exe bin clean item 工具 ############################## 首先檢查下你更新的目錄下是否正有程序在跑，文件在被占用，及進程裏還是在跑更新目錄裏的服務這樣也會導致更新，清理失敗 #####