2. 程式人生 > >如何理解字符集和字元編碼

如何理解字符集和字元編碼

阿新 • • 發佈：2019-02-01
  • 概念
簡單來說，unicode，gb碼和大五碼就是編碼的值，而utf-8,uft-16之類就是這個值的表現形式．而前面那三種編碼是不相容的，同一個漢字，那三個碼值是完全不一樣的．如＂漢＂的uncode值與gbk就是不一樣的，假設unicode為a040，gbk為b030，而uft-8碼，就是把那個值表現的形式．utf-8碼完全只針對uncode來組織的，如果ＧＢＫ要轉ＵＴＦ－８必須先轉unicode碼，再轉utf-8就ＯＫ了。
  • GBK到Utf-8的轉換過程

GBK等都屬於GB碼值的表現形式
Utf-8等都屬於Unicode碼值的表現形式
所以如果GBK要轉變成utf-8，則首先先將GBK對應的GB碼值轉換成Unicode碼值（這可以通過相關演算法和查表來完成），然後將Unicode碼值用utf-8編碼方式將其編碼(最終在記憶體中的表現方式）。


  • Java一切基於unicode編碼
Java原始碼，我們可以指定各種各樣的編碼格式，這些編碼格式，最終表現的只是這個檔案中對字元的編碼，可以直接通過十六進位制檢視檔案頭來檢視到是何種編碼。當對原始碼進行編譯的時候，編譯成.class檔案，這個時候這個檔案就是採用Unicode編碼集，當呼叫String中的getBytes()方法時，就是對特定字串（這個字串是Unicode編碼集的字元組成的集合）進行編碼，new String()則可以按照某個字符集將位元組流轉換回unicode編碼集的字元集合。














相關推薦

如何理解字符集和字元編碼

概念 簡單來說，unicode，gb碼和大五碼就是編碼的值，而utf-8,uft-16之類就是這個值的表現形式．而前面那三種編碼是不相容的，同一個漢字，那三個碼值是完全不一樣的．如＂漢＂的uncode

字符集和字元編碼的理解

什麼是字符集 首先，在最底層計算機並不能直接識別中英文的文字，能夠認識的文字只有0和1。那麼如何讓計算機能夠表示我們現在在閱讀的文字呢，那就是使用0和1的組合 比如兩個二進位制位的組合可以有01，10，00，11四種，那麼這四種組合就可以分別表示四個不同的文字，我們稱為字

[學習筆記] 五分鐘快速理解字符集與字元編碼的區別

字符集 字符集,也稱作字元編碼方案,是為字元集合中每一個字元分配一個唯一ID的編碼字符集.包括了Unicode,ASCII,ANSI等字符集。 Unicode字符集 — 所有字元組成的字符集 國際組織制定的可以容納世界上所有文字和符號的字元編碼方案。如果全世界每一個符號都給予一個

十分鐘搞清字符集和字元編碼 • cenalulu's Tech Blog

本文將簡述字符集，字元編碼的概念。以及在遭遇亂碼時的一些常用診斷技巧 背景：字符集和編碼無疑是IT菜鳥甚至是各種大神的頭痛問題。當遇到紛繁複雜的字符集，各種火星文和亂碼時，問題的定位往往變得非常困難。本文就將會從原理方面對字符集和編碼做個簡單的科普介紹，同時也會介紹一些通用的亂碼故障

【計算機基礎】字符集和字元編碼（Charset & Encoding）

原文參考地址：http://www.cnblogs.com/skynet/archive/2011/05/03/2035105.html ——每個軟體開發人員應該無條件掌握的知識！ ——Unicode偉大的創想！ 相信大家一定碰到過，開啟某個網頁，卻顯示一堆像亂碼，

字符集和字元編碼學習總結

問題起源於，從網上下載的高清電影外掛字幕放到 QNap 中去，從 Qvideo 中訪問竟全是亂碼。查詢得知，QNap 中的 Video Station 只能解析識別以 UTF-8 編碼的字幕檔案。雖然採用 QNap 上更強大的 Plex 可以自然解決該問題，

C語言寬字元——字符集與字元編碼和寬字元之間的關係

前言： 距上一篇博文，已經是3個月的時間了，忙碌著專案開發，無暇顧及部落格。現在專案總算是結束了一個段落，是該總結的時候。4月份將會更新幾篇文章，都是在專案中遇到的問題，然後再深入瞭解之後總結出來的，希望通過這個平臺能與更多的人有更多的交流。 正文： 我在做日誌管理這一部

字串和字元編碼

由於計算機是美國人發明的，因此，最早只有127個字元被編碼到計算機裡，也就是大小寫英文字母、數字和一些符號，這個編碼表被稱為ASCII編碼，比如大寫字母A的編碼是65，小寫字母z的編碼是122。 但是要處理中文顯然一個位元組是不夠的，至少需要兩個位元組，而且還不能和ASCII編碼衝突，所以，

字符集與字元編碼 (charset & encoding)

亂碼是個大坑，相信每個人都遇過，而且是個繞不過去的坑。我理解每個程式設計師都應該寫一篇編碼相關的博文，梳理自己對這一塊的理解，下面是我反覆理解多次之後的學習小結。   1、從記事本的不同編碼說起： 開啟記事本，輸入“我我”，儲存為ansi編碼(其實是gb2312，這也是預設編碼

深入理解Python的字元編碼utf-8 & unicode

參考：http://lukejin.iteye.com/blog/598303 一，通過例子理解字元編碼 在Python中有兩個和字元很相關的型別，一個是str型別，一個是unicode型別。 這兩種型別的物件都是sequece序列，其中str是位元組序列，而unicode

Java為什麼選擇unicode字符集？字元編碼的那些事

原文地址：http://www.imkevinyang.com/2010/06/%E5%85%B3%E4%BA%8E%E5%AD%97%E7%AC%A6%E7%BC%96%E7%A0%81%EF%BC%8C%E4%BD%A0%E6%89%80%E9%9C%80%E8%A6%

字符集與字元編碼簡介（轉）

我們知道，計算機只能識別諸如0101這樣的二進位制數，於是人們必須以二進位制資料與計算機進行互動，或者先將人類使用的字元按一定規則轉換為二進位制數。 那什麼是字元呢？在計算機領域，我們把諸如文字、標點符號、圖形符號、數字等統稱為字元。而由字元組成的集合則成為字符集，字符集由於

Python 和字元編碼

Python 2.* 的程式設計師肯定遇到過這樣那樣的字元編碼問題： 為什麼從網站上爬取的html 在本地顯示的就不正常？ 為什麼會顯示 UnicodeEncodeError: 'ascii' codec can't encode character 這樣的錯誤 py

字符集與字元編碼 (charset & encoding)

亂碼是個大坑，相信每個人都遇過，而且是個繞不過去的坑。我理解每個程式設計師都應該寫一篇編碼相關的博文，梳理自己對這一塊的理解，下面是我反覆理解多次之後的學習小結。 1、從記事本的不同編碼說起： 開啟記事本，輸入“我我”，儲存為ansi編碼(其實是gb2312，這也是預

修改oracle字符集將字元編碼WE8MSWIN1252修改為AL32UTF8

採用的是作業系統預設字符集：WE8MSWIN1252，將字符集修改為：AL32UTF8。 SQL> select userenv('language') from dual; SIMPLIFIED CHINESE_CHINA.WE8MSWIN1252 SQL&

黑馬程式設計師—物件的序列化和字元編碼以及21天視訊中其他知識總結

---------------------- <a href="http://edu.csdn.net"target="blank">ASP.Net+Android+IOS開發</a>、<a href="http://edu.csdn.net"

字符集與字元編碼

首先，我們要明確最基本的一點就是計算機的最小儲存單位是位元組（1byte=8bit） 字符集 1.什麼是字元 字元是各種文字和符號的總稱，包括各個國家文字標點符號，圖形符號，數字等。 2.字符集 首先，我們可以說一句廢話，字符集是字元的集合。 將一些特定的漢字，

我對字符集和字符編碼的理解

image 只需要 遇到 問題 發現 ring1 漢字 編碼表 順序 先定義兩個概念。 字符集 字符集就是把字符和一串數字（碼點）一一對應起來。GB2312，GBK,UNICODE，這些都是字符集。 字符編碼 字符編碼就是取得字符集中和字符對應的那串數字(字符編碼)之後，基

從字元編碼的發展歷史理解ANSI、GB2312、Unicode、UTF8和UTF16區別

        在程式設計學習的深入後，不可避免的會遇到ANSI、GB2312、UTF8的編碼問題，如果不徹底瞭解他們的區別，都最終會造成一個問題--亂碼！例如檔案開啟亂碼，資料庫亂碼、網頁亂碼等等各種亂碼，這裡就通過字元編碼發展歷史的介紹來分清各種不同的編碼。 一、ASC

字元編碼ASCII，Unicode和UTF-8的區別及理解

1. ASCII碼         我們知道，在計算機內部，所有的資訊最終都表示為一個二進位制的字串。每一個二進位制位（bit）有0和1兩種狀態，因此八個二進位制位就可以組合出256種狀態，這被稱為一個位元組（byte）。也就是說，一個位元組一共可以用來表示256種不同的狀