【Python基礎】字符編碼ASCII-GBK-Unicode-UTF-8之間的關系

阿新 • • 發佈：2018-06-15

精準應該寫入歷程 UC tran 執行文件總結

字符編碼
由於計算機只識別0和1，為了使計算機能夠支持文字和字母等符號，方便實用操作計算機
於是字符編碼應運而生，旨在解決符號和人類語言與計算機0和1建立起一種對應關系
據說不理解字符編碼可能是程序員一輩子的遺憾，拿出來單獨總結一下

發展史：
    ASCII-->Unicode-->UTF-8
    ASCII是最早期應用在美國方面的，建立了A-z和一批特殊符號，一共128種字符與二進制之間的對應關系
        比如：小寫字母w   十進制135   轉換為二進制  10000111
             空格        0                      0
        如果表示[空格][空格]w  二進制就是          0010000111    #前面的兩個0代表兩個空格
        就有個問題就是二進制本來就一串繁瑣空格和w怎麽話分界線來界定每個字符的界限呢，以致後來就統一了一下所有字符都占8位，每次以8位界限讀取
        如果表示[空格][空格]w  二進制就是          00000000 00000000 10000111    ##這裏每1或0占1bit(比特)
        於是乎就有了今天的ASCII碼每個字符占1bytes(字節)
            換算關系：
                bit                 位，計算機中最小的表示單位，每個字符轉二進制後的0和1
                8bit = 1bytes(B)    字節，最小的存儲單位，1bytes縮寫為1B
                1KB  = 1024B
                1MB  = 1024KB
                1GB  = 1024MB
                ...
        優點：建立了對應關系
        缺點：並不適用其他國家語言，其他語言解析會出現亂碼，比如中文，韓文等等...

    GBK     為了同時滿足中文和英文(ASCII)，中國人定制了GBK，也就是說這個時候中文和英文使用GBK沒問題，如果寫日文其他語言就會產生亂碼
            GBK:2Bytes代表一個中文字符，1Bytes表示一個英文字符
            其他國家滿足自己，各個國家紛紛定制了自己的編碼
            日本把日文編到Shift_JIS裏，韓國把韓文編到Euc-kr裏

    Unicode 旨在解決其他國家語言共存的問題而應運而生，俗稱萬國編碼，僅建立在內存中
            由於ASCII 用的是 8位也就是說  最多支持 11111111 轉換成十進制255個編碼
            中文恐怕就遠遠不夠了，中文有幾萬個，後來對於中文就在原來1字節（11111111）基礎又加了1個字節

            ASCII    英文               11111111  最高支持255個字符      占用1字節
            Unicode  支持中文  11111111 11111111  100W+                 占用2-4字節
            Unicode為了同時兼容8位的ASCII，在原來ASCII的8位基礎上統一添加00000000實現了 2個bytes
            之所以說unicode是定長是因為所有的字符都是占用2bytes
            這就是unicode（定長），　統一用2Bytes代表一個字符，　雖然2**16-1=65535，
            但unicode卻可以存放100w+個字符，因為unicode存放了與其他編碼的映射關系，準確地說unicode並不是一種嚴格意義上的字符編碼表

    UTF-8   很明顯對於通篇都是英文的文本來說，unicode的式無疑是多了一倍的存儲空間（二進制最終都是以電或者磁的方式存儲到存儲介質中的）
            於是產生了UTF-8（可變長，全稱Unicode Transformation Format），對英文字符只用1Bytes表示，對中文字符用3Bytes，對其他
            生僻字用更多的Bytes去存。於是現在大家也都在推行UTF-8的原因之一

整個發展歷程：
    ASCII -->  GBK  -->  Unicode  -->  UTF-8
使用過程：
    基於目前的現狀，內存中的編碼固定就是unicode，我們唯一可變的就是硬盤的上對應的字符編碼。
    此時你可能會覺得，那如果我們以後開發軟時統一都用unicode編碼，那麽不就都統一了嗎，關於統一這一點你的思路是沒錯的，但我們不可會使用
    unicode編碼來編寫程序的文件，因為在通篇都是英文的情況下，耗費的空間幾乎會多出一倍，這樣在軟件讀入內存或寫入磁盤時，都會徒增IO次數，
    從而降低程序的執行效率。因而我們以後在編寫程序的文件時應該統一使用一個更為精準的字符編碼utf-8（用1Bytes存英文，3Bytes存中文），
    再次強調，內存中的編碼固定使用unicode。
        1、在存入磁盤時，需要將unicode轉成一種更為精準的格式，utf-8:全稱Unicode Transformation Format，將數據量控制到最精簡
        2、在讀入內存時，需要將utf-8轉成unicode
    所以我們需要明確：內存中用unicode是為了兼容萬國軟件，即便是硬盤中有各國編碼編寫的軟件，unicode也有相對應的映射關系，但在現在的開
    發中，程序員普遍使用utf-8編碼了，估計在將來的某一天等所有老的軟件都淘汰掉了情況下，就可以變成：內存utf-8<->硬盤utf-8的形式了。

參考：http://www.cnblogs.com/linhaifeng/articles/5950339.html
更多圖文並茂請點超鏈接

精準應該寫入歷程 UC tran 執行文件總結字符編碼由於計算機只識別0和1，為了使計算機能夠支持文字和字母等符號，方便實用操作計算機於是字符編碼應運而生，旨在解決符號和人類語言與計算機0和1建立起一種對應關系據說不理解字符編碼可能是程序員一輩子的遺憾，拿

python基礎之字符編碼及文件操作

運行原理讀文件進制數包括當前告訴行程列表多個一、了解字符編碼前的知識儲備 1、計算機運行程序或讀取文件的原理為了使計算機運行速度不被I/O操作速度拖慢，CPU並不會直接從硬盤中讀取數據，因為硬盤的讀寫速度和CPU相差太大，所以CPU都是從速

Java 字符編碼 ASCII、Unicode和UTF-8

之間 family 打印 com 但是例如進制數英語 utf-16 　　1 ASCII碼　　統一規定英語字符與二進制位之間的關系。ASCII碼一共規定了128個字符的編碼。例如，空格“SPACE”是32（二進制00100000），大寫字母A是65（二進制010000

字符編碼ascii、unicode、utf-‐8、gbk 的關系

2個空間美國優化漢字基於了解這一編碼 ASIIC碼：計算機是美國人發明和最早使用的，他們為了解決計算機處理字符串的問題，就將數字字母和一些常用的符號做成了一套編碼，這個編碼就是ASIIC碼。ASIIC碼包括數字大小寫字母和常用符號，一共128個，1字節(b

刨根究底字符編碼之十一——UTF-8編碼方式與字節序標記

所有碼元 unix 找到概念不可見執行大端位置 UTF-8編碼方式與字節序標記一、UTF-8編碼方式 1. 接下來將分別介紹Unicode字符集的三種編碼方式：UTF-8、UTF-16、UTF-32。這裏先介紹應用最為廣泛的UTF-8。為滿足基於AS

Python基礎2 字符串、列表、字典、集合等操作

list 其他查看拼接 rep 之前反轉轉換成 title 列表、元祖操作列表語法： name = [‘jack‘, ‘tom‘, ‘bob‘] 列表切片列表切片的特點是“顧頭不顧尾” >>> name = [‘jack‘, ‘tom‘

python基礎10 字符串操作,字典操作,集合操作

至少特殊 sla 去重初始化 expand 串操作黃金它的本節內容：字符串操作字典操作集合操作字符串操作概述字符串是以‘‘或""括起來的任意文本，比如‘abc‘，"xyz"等等。請註意，‘‘或""本身只是一種表示方式，不是字符串的一部分，因此，字符

自動化測試第三節-python基礎（字符串方法數據類型文件讀寫）

inpu 寫入增刪改查 capital 返回結果 move 博客 true xtend for 循環： 1、for循環寫不了死循環2、else:循環"正常"結束後執行else 例： for i in range(3): print(i) 字典： 1、字典是無序的 2

day4-python基礎4 字符串操作

with itl 字符 slow strip isl 變量賦值 false span 1.字符串用法 1 name = ‘daniel‘ 2 3 print(name.capitalize()) #首字母大寫 4 >>>dani

python基礎1-字符串

python基礎-字符串數字，字符串，列表，布爾，元組，字典，集合（小知識點）變量名的命名規則？ #1. 變量名只能是字母、數字或下劃線的任意組合#2. 變量名的第一個字符不能是數字#3. 關鍵字不能聲明為變量名定義的方式：駝峰式：AgeOldboy=53下劃線：age_oldboy=53常量

二、.Net常用基本類庫【2.2】字符串靜態方法

param class val value 分隔符 isnull join ams 連接 bool IsNullOrEmpty(string value)：判斷字符串是否為null或者是空字符串； bool Equals(string a, string b, Strin

二、.Net常用基本類庫【2.1】字符串處理

大寫 ons 通過 split toc 元素 *** spa 索引使用string 定義的字符串，在定義好後，是無法修改的。如果要想改變，必須通過tocharArray（）函數將原來的字符串轉化為字符（char）數組。然後再通過轉換從而形成一個新的字符串。字符串中常用的

python基礎09_字符串格式化

python clas .html 數字 env IT 方便 really 長度首先，使用%s 的方法。 #!/usr/bin/env python # coding:utf-8 # 不用format方法，使用%s 和%d name = ‘Tom‘ age = 10

【算法】字符串數組的排序時間復雜度問題

整體操作字典序每一個假設 ID 字典一個字符串長度題：有一個字符串數組，將數組中的每一個字符串按照字母序排序；之後再將整個字符串數組按照字典序排序。整個操作的時間復雜度？分析： 1.假設最長的字符串長度為s；數組中有n個字符串 2.對每個字符串排序：O(s

【python基礎】--列表相關基礎知識

PE 刪除結果使用查找方法從大到小類型 pen 1.定義列表 a=[‘xiaoyi‘,‘xiaoer‘,‘xiaosan‘,‘xiaosi‘,‘xiaowu‘,‘xiaoliu‘,‘xaioqi‘,‘xiaoba‘,‘xiaojiu‘]索引（下標）都是從0開始

【Python基礎】流程控制-break及continue使用及while..else的使用

break continue while..else ‘‘‘ break 用於結束一個完整的循環，跳出循環體執行循環後面的語句 continue 用於跳出本次循環，但繼續下一個循環 ‘‘‘ ‘‘‘ continue的用法打印1-10的數字，3除外 ‘‘‘ # count

【Python基礎】流程控制-while循環

while#while循環 ‘‘‘ while 條件判斷: 滿足條件執行的代碼 ... 條件判斷的根本是True和False的判斷 True才會執行 False不會執行通過一下方法來打印條件是True或者False a = 10 b = 20 pr

【Python基礎】格式化打印

格式化打印‘‘‘ 1、能夠很規範的打印出想要的內容 2、雙引號內沒有辦法放變量 ‘‘‘ ## 格式化輸入 # %s 輸入任意扥內容都不會報錯因為全部當做str來處理 # %d 只能輸入數字 #案例一 name = input("Name: ") age = input("Age: ") hos

【Python基礎】流程控制-if..else

if..else‘‘‘ 基本的使用 if 條件: 滿足條件執行的代碼 else: 不滿足條件執行的代碼 ‘‘‘ # age = input("Please input Age: ") # age = int(age) # ‘‘‘ # 從input得出的結果默認是str,str格式不能被<

python基礎-2-字符串內置方法

小寫 llc 關鍵字參數 ndt spec 字符串 nco capi enc S.capitalize() -> str-將字符串S的第一個字符改為大寫 >>> ‘special thing‘.capitalize() ‘Special thing

【Python基礎】字符編碼ASCII-GBK-Unicode-UTF-8之間的關系

相關推薦