Python3 利用requests抓取網頁原始碼中文亂碼問題（由gb2312編碼引起）

阿新 • • 發佈：2019-01-23

核心問題：

meta charset = “gb2312”
requests
中文亂碼
×îÐÂÏûÏ¢_¡¶ÃÎ»ÃÎ÷ÓÎ¡·µçÄÔ°æ¹Ù·½ÍøÕ¾

以夢幻西遊官網為例

<!DOCTYPE html>
<head>
<meta charset="gb2312" />
<!--This is Git Project From XYQ/xyq-gw-20170104(4899)-->
<title>最新訊息_《夢幻西遊》電腦版官方網站 - 網易西遊題材扛鼎之作</title>
<meta name="keywords" 
 content="《夢幻西遊》電腦版,Q版網遊,人氣網遊,回合制網遊, 網易遊戲,夢幻西遊下載,夢幻西遊官網, 夢幻西遊序列號,最好玩的網遊" />
<meta name="description" content="《夢幻西遊》電腦版，網易回合制網遊旗艦，西遊題材扛鼎之作；3.6億註冊使用者，271萬玩家最高線上，每月有新服開放。人物和畫面超可愛、輕輕鬆鬆交朋友!" />
<meta name="author" content="網易，NetEase Inc." />
<meta name="copyright" content="網易，NetEase Inc." 
 />
<meta name="pmid" content="272711" />
<meta name="editor" content="rosiel" />
<meta name="designer" content="QQ,rain" />
<meta name="front-end technicist" content="Django" />
<meta name="animator" content="hy" />
<link type="text/css" rel="stylesheet" href="http://res.xyq.netease.com/gw/13v1/css/common.css" 
 media="all" />
<style>
.NIE-share1 .NIE-share-more em{top: -17px  !important;}
</style>
<!--[if lte IE 8]>
<script charset="gb2312" src="http://res.nie.netease.com/comm/html5/createEle.js"></script>
<![endif]-->
<!-- jquery mix NIE (最新版本）-->
<script charset="gb2312" src="http://res.nie.netease.com/comm/js/jquery(mixNIE).last.js"></script>
<script charset="gb2312" src="http://res.xyq.netease.com/gw/13v1/js/common.js"></script>
</head>

python爬取程式碼

# -*- coding: utf-8 -*-
>>> import requests
>>> url = 'http://xyq.163.com/news/index.html'
>>> r = requests.get(url)
>>> data = r.text
>>> title = data.split('<title>')[1].split(' ')[0]
>>> print(title)
×îÐÂÏûÏ¢_¡¶ÃÎ»ÃÎ÷ÓÎ¡·µçÄÔ°æ¹Ù·½ÍøÕ¾
>>>

解決方案

在獲取網頁內容時
將原檔案轉碼成latin1編碼（使用encode函式）
再解碼成gbk編碼（使用decode函式
即可輸出正確中文

# -*- coding: utf-8 -*-
>>> import requests
>>> url = 'http://xyq.163.com/news/index.html'
>>> r = requests.get(url)
>>> data = r.text.encode("latin1").decode("gbk")
>>> title = data.split('<title>')[1].split(' ')[0]
>>> print(title)
最新訊息_《夢幻西遊》電腦版官方網站
>>>

Python3 利用requests抓取網頁原始碼中文亂碼問題（由gb2312編碼引起）

核心問題： meta charset = “gb2312” requests 中文亂碼 ×îÐÂÏûÏ¢_¡¶ÃÎ»ÃÎ÷ÓÎ¡·µçÄÔ°æ¹Ù·½ÍøÕ¾ 以夢幻西遊官網為例 <!DOCTYPE html> <hea

Python+Requests安裝及抓取網頁原始碼中文亂碼問題的解決

剛開始自學Python課程，學習到自制單執行緒小爬蟲，利用pip install requests命令安裝Python的Requests庫（自備梯子，注意如果安裝了不同Python版本的話記得先進入對應版本的pip目錄）。安裝完後在IDE中就可以呼叫Requ

Python3.5+requests 爬取網站遇到中文亂碼怎麼辦？ä½èï¼å¾®è½¯äºæ´²ç ç©¶é¢

import requests from bs4 import BeautifulSoup url = 'http://quote.eastmoney.com/stocklist.html' user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Wind

python3 利用requests爬取拉勾網資料

學習python，瞭解了一點爬蟲的知識，成功的對拉勾網的招聘資訊進行了爬取，將爬取心得記錄下來，和大家一起學習進步。準備工作： python3 requests pandas 谷歌瀏覽器(或者火狐瀏覽器、qq瀏覽器)

C語言實現抓取網頁原始碼

#include <stdio.h> #include <stdlib.h> #include <string.h> #include <sys/types.h> #include <sys/socket.h&

Python 抓取網頁學習系列之一（網頁編碼格式

第一步：你需要知道你所抓取的網頁編碼格式，方法：右鍵檢視網頁編碼，ctrl +F ，搜尋：charset會看到：<meta http-equiv="Content-Type" content="text/html; charset=gbk" />，OK確定是gb

python2. requests爬取網上資料中文亂碼的情況處理方法

先說下發現的問題，今天在做一個爬取功能的時候，中文一直是亂碼，原來以為是返回的資料壓縮導致的，後邊查了下文件，requests裡如果headers設定了'Accept-Encoding': 'gzip, deflate',且目標網頁也支援壓縮的話，requests會把爬到的網

Python實例之抓取淘寶商品數據（json型數據）並保存為TXT

sel range ats 表達隨著 request nic rom .get 本實例實現了抓取淘寶網中以‘python’為關鍵字的搜索結果，經詳細查看數據存儲於html文檔中的js腳本中，數據類型為JSON 通過瀏覽器相關工具發現捧腹網笑話頁面的數據存儲在HTML頁面而

[Python]網路爬蟲（二）：利用urllib2通過指定的URL抓取網頁內容

版本號：Python2.7.5，Python3改動較大，各位另尋教程。所謂網頁抓取，就是把URL地址中指定的網路資源從網路流中讀取出來，儲存到本地。類似於使用程式模擬IE瀏覽器的功能，把URL作為HTTP請求的內容傳送到伺服器端，然後讀取伺服器端的響應資源。在

利用正則表示式抓取網頁上郵箱的小程式

使用方法：把自己在網上儲存下來含有郵箱的網頁所在硬碟的路徑，拷到對應位置即可，此程式用eclipse-luna-64位測試已通過程式最終來源為馬上兵老師釋出的視訊及原始碼，本人是用來學習，並和大家分享視訊連結：http://pan.baidu.com/s/1jIE5qC

Python3爬蟲（一）抓取網頁的html

因為程式碼只有幾行，所以可以先貼程式碼： import urllib.request url = r'http://douban.com' res = urllib.request.urlopen(url) html = res.read().decode('utf-

PHP抓取網頁內容獲得網頁原始碼

1、 file_get_contents獲取 <span style="white-space:pre"> </span>$url="http://www.baidu.com/"; <span style="white-space:pre"&g

PHP中使用file_get_contents抓取網頁中文亂碼問題解決方法，GZIP

這篇文章主要介紹了PHP中使用file_get_contents抓取網頁中文亂碼問題解決方法,可以通過使用curl配置gzip選項來解決,具有一定的參考借鑑價值,需要的朋友可以參考下本文例項講述了PHP中使用file_get_contents抓取網頁中文亂碼問題解決方法。分享

[Python]網路爬蟲（二）：利用urllib通過指定的URL抓取網頁內容

1.基本方法 urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=F

Python3 抓取網頁中的圖片

import urllib.request import socket import re import sys import os targetDir = r"C:\Users\elqstux\Desktop\pic" def destFile(path): if

JAVA抓取網頁的圖片,JAVA利用正則表示式抓取網站圖片

利用java抓取網頁上的所有圖片：用兩個正則表示式： 1、匹配html中img標籤的正則：<img.*src=(.*?)[^>]*?> 2、匹配img標籤中得src中http路徑的正則：http:\"?(.*?)(\"|>|\\s+) 實現：

python3實現網路爬蟲（1）--urlopen抓取網頁的html

準備開始寫一些python3關於爬蟲相關的東西，主要是一些簡單的網頁爬取，給身邊的同學入門看。首先我們向網路伺服器傳送GET請求以獲取具體的網頁，再從網頁中讀取HTML內容。我們大家平時都使用網路瀏覽器，並且它已經成為我們上網不可或缺的軟體。它建立資訊的資

利用 selenium 抓取淘寶信息

tle clas date screens pin sleep source log pre import lxml from bs4 import BeautifulSoup import time from selenium import webdriver impo

[Python爬蟲] 之十九：Selenium +phantomjs 利用 pyquery抓取超級TV網數據

images 判斷 nco dex onf etc lac lin 利用　　一、介紹　　　　本例子用Selenium +phantomjs爬取超級TV（http://www.chaojitv.com/news/index.html）的資訊信息，輸入給定關鍵字抓取

curl抓取網頁內容php

dem windows grep 網頁資源網頁爬蟲 url 工具 () 動態獲取 1.cURL curl是客戶端向服務器請求資源的工具 2.cURL使用場景網頁資源：網頁爬蟲 webservice數據接口資源：動態獲取接口數據天氣號碼歸屬地 ftp資源：下載ftp

Python3 利用requests抓取網頁原始碼中文亂碼問題（由gb2312編碼引起）

以夢幻西遊官網為例

python爬取程式碼

解決方案

相關推薦