2. 程式人生 > >Go語言中多字節字符的處理

Go語言中多字節字符的處理

阿新 • • 發佈：2018-10-28
語言環境 對應關系 相對 全部 special 每一個 圖片 轉換 完整

1 概述

Go語言的字符串是使用 UTF-8 編碼的。UTF-8 是 Unicode 的實現方式之一。本文內容包括：UTF-8 和 Unicode 的關系，Go語言提供的 unicode 包和 unicode/utf8 包的使用。

2 UTF-8 和 Unicode 的關系

Unicode一種字符集，是國際標誰化組織（ISO）設計的一個包括了地球上所有文化、所有字母和符號 的編碼。他們叫它 Universal Multiple-Octet Coded Character Set，簡稱 UCS，也就是 Unicode。Unicode 為每一個 字符 分配一個唯一的 碼點（Code Point），就是一個唯一的值。例如 康 的碼點就是 24247，十六進制為 5eb7

。
Unicode 字符集僅僅定義了字符與碼點的對應關系，但是並沒有定義該如何編碼（存儲）這個碼值，這就導致了很多問題。例如由於字符的碼值不同，導致所需要的存儲空間是不一致的，計算機不能確定接下來的字符是占用幾個字節。還有就是如果采用固定的長度假設都是4個字節來存儲碼點值，那麽會導致空間的額外浪費，因為 ascii 碼字符其實僅僅需要一個字節的空間。

UTF-8 就是解決如何為 Unicode 編碼而設計的一種編碼規則。可以說 UTF-8 是 Unicode 的實現方式之一。其特點是一種變長編碼，使用1到4個字節表示一個字符，根據不同的符號而變化長度。UTF-8 的編碼規則有二：

  • 對於單字節的符號，字節的第一位設為0，後面7位為這個符號的 Unicode
    碼。因此對於ASCII碼字符，UTF-8 編碼和 ASCII 碼是相同的。
  • 對於 n 字節的符號（n > 1，2到4），第一個字節的前n位都設為1，第n + 1 位設為 0，後面字節的前兩位一律設為10。剩下的沒有提及的二進制位，全部為這個符號的 Unicode 碼。

以下是編碼規則：

Unicode             | UTF-8
--------------------------------------------------------- 
0000 0000-0000 007F | 0xxxxxxx
0000 0080-0000 07FF | 110xxxxx 10xxxxxx
0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
---------------------------------------------------------

Go語言中，對於 Unicode 和 UTF-8 使用了 unicode 和 unicode/utf8 包來實現，下面是閱讀 API 的總結和說明。

3 Unicode 包

Go語言中，提供了 Unicode 包，處理與 Unicode 相關的操作，整理如下：

Is(rangeTab *RangeTable, r rune) bool

檢測 rune r 是否在 rangeTable 指定的字符範圍內。
rangeTable 一個 Unicode 碼值集合，通常使用 unicode 包中定義的集合。

判斷字符是否出現在漢字集合中：
unicode.Is(unicode.Scripts["Han"], ‘k‘)
// 返回 false
unicode.Is(unicode.Scripts["Han"], ‘康‘)
// 返回 true

In(r rune, ranges ...*RangeTable) bool

檢測 rune r 是否在多個 rangeTable 指定的字符範圍內。
rangeTable 一個 Unicode 碼值集合，通常使用 unicode 包中定義的集合。

unicode.In(‘康‘, unicode.Scripts["Han"], unicode.Scripts["Latin"])
// 返回 true
unicode.In(‘k‘, unicode.Scripts["Han"], unicode.Scripts["Latin"])
// 返回 true

IsOneOf(ranges []*RangeTable, r rune) bool

檢測 rune r 是否在 rangeTable ranges 指定的字符範圍內。與 In 功能類似，推薦使用 In。

IsSpace(r rune) bool

檢測字符 rune r 是否是空白字符。在Latin-1字符空間中，空白字符為：

‘\t‘, ‘\n‘, ‘\v‘, ‘\f‘, ‘\r‘, ‘ ‘, U+0085 (NEL), U+00A0 (NBSP)

其它的空白字符請參見策略Z和屬性Pattern_White_Space。

IsDigit(r rune) bool

檢測字符 rune r 是否是十進制數字字符。

unicode.IsDigit(‘9‘)
// 返回 true
unicode.IsDigit(‘k‘)
// 返回 false

IsNumber(r rune) bool

檢測字符 rune r 是否是 Unicode 數字字符。

IsLetter(r rune) bool

檢測一個字符 rune r 是否是字母

unicode.IsLetter(‘9‘)
// 返回 false
unicode.IsLetter(‘k‘)
// 返回 true

IsGraphic(r rune) bool

一個字符 rune r 是否是 unicode 圖形字符。圖形字符包括字母、標記、數字、符號、標點、空白。

unicode.IsGraphic(‘9‘)
// 返回 true
unicode.IsGraphic(‘,‘)
// 返回 true

IsControl(r rune) bool

檢測一個字符 rune r 是否是 unicode 控制字符。

IsMark(r rune) bool

檢測一個字符 rune r 是否是標記字符。

IsPrint(r rune) bool

檢測一個字符 rune r 是否是的可打印字符，基本與圖形字符一致，除ASCII空白字符U+0020。

IsPunct(r rune) bool

檢測一個字符 rune r 是否是 unicode標點字符。

unicode.IsPunct(‘9‘)
// 返回 false
unicode.IsPunct(‘,‘)
// 返回 true

IsSymbol(r rune) bool

檢測一個字符 rune r 是否是 unicode 符號字符。

IsLower(r rune) bool

檢測一個字符 rune r 是否是小寫字母。

unicode.IsLower(‘h‘)
// 返回 true
unicode.IsLower(‘H‘)
// 返回 false

IsUpper(r rune) bool

檢測一個字符 rune r 是否是大寫字母。

unicode.IsUpper(‘h‘)
// 返回 false
unicode.IsUpper(‘H‘)
// 返回 true

IsTitle(r rune) bool

檢測一個字符 rune r 是否是Title字符。大部分字符的 Title 格式就是其大寫格式，少數字符的 Title 格式是特殊字符，例如 ???。

unicode.IsTitle(‘?‘)
// 返回 true
unicode.IsTitle(‘h‘)
// 返回 false
unicode.IsTitle(‘H‘)
// 返回 true

To(_case int, r rune) rune

將字符 rune r 轉換為指定的格式，格式_case支持：unicode.UpperCase、unicode.LowerCase、unicode.TitleCase

unicode.To(unicode.UpperCase, ‘h‘)
// 返回 H

ToLower(r rune) rune

將字符 rune r 轉換為小寫。

unicode.ToLower(‘H‘)
// 返回 h

func (SpecialCase) ToLower

將字符 rune r 轉換為小寫。優先使用映射表 SpecialCase。
映射表 SpecialCase 是特定語言環境下大小寫的映射表。主要應用於一些歐洲字符，例如土耳其 TurkishCase。

unicode.TurkishCase.ToLower(‘?‘)
// 返回 i

ToUpper(r rune) rune

將字符 rune r 轉換為大寫。

unicode.ToUpper(‘h‘)
// 返回 H

func (SpecialCase) ToUpper

將字符 rune r 轉換為大寫。優先使用映射表 SpecialCase。
映射表 SpecialCase 是特定語言環境下大小寫的映射表。主要應用於一些歐洲字符，例如土耳其 TurkishCase。

unicode.TurkishCase.ToUpper(‘i‘)
// 返回 ?

ToTitle(r rune) rune

將字符 rune r 轉換為 Title 字符。

unicode.ToTitle(‘h‘)
// 返回 H

func (SpecialCase) ToTitle

將字符 rune r 轉換為 Title 字符。優先使用映射表 SpecialCase。
映射表 SpecialCase 是特定語言環境下大小寫的映射表。主要應用於一些歐洲字符，例如土耳其 TurkishCase。

unicode.TurkishCase.ToTitle(‘i‘)
// 返回 ?

SimpleFold(r rune) rune

在 unicode 標準字符映射中查找與 rune r 互相對應的 unicode 碼值。向碼值大的方向循環查找。互相對應指的是同一個字符可能出現的多種寫法。

unicode.SimpleFold(‘H‘)
// 返回 h
unicode.SimpleFold(‘Φ‘)) 
// 返回 φ

4 unicode/utf8 包

DecodeLastRune(p []byte) (r rune, size int)

解碼 []byte p 中最後一個 UTF-8 編碼序列，返回該碼值和長度。

utf8.DecodeLastRune([]byte("小韓說課"))
// 返回 35838 3
// 35838 就是課的 unicode 碼值

DecodeLastRuneInString(s string) (r rune, size int)

解碼 string s 中最後一個 UTF-8 編碼序列，返回該碼值和長度。

utf8.DecodeLastRuneInString("小韓說課")
// 返回 35838 3
// 35838 就是課的 unicode 碼值

DecodeRune(p []byte) (r rune, size int)

解碼 []byte p 中第一個 UTF-8 編碼序列，返回該碼值和長度。

utf8.DecodeRune([]byte("小韓說課"))
// 返回 23567 3
// 23567 就是 小 的 unicode 碼值

DecodeRuneInString(s string) (r rune, size int)

解碼 string s 中第一個 UTF-8 編碼序列，返回該碼值和長度。

utf8.DecodeRuneInString("小韓說課")
// 返回 23567 3
// 23567 就是 小 的 unicode 碼值

EncodeRune(p []byte, r rune) int

將 rune r 的 UTF-8 編碼序列寫入 []byte p，並返回寫入的字節數。p 滿足足夠的長度。

buf := make([]byte, 3)
n := utf8.EncodeRune(buf, ‘康‘)
fmt.Println(buf, n)
// 輸出 [229 186 183] 3

FullRune(p []byte) bool

檢測 []byte p 是否包含一個完整 UTF-8 編碼。

buf := []byte{229, 186, 183} // 康
utf8.FullRune(buf)
// 返回 true
utf8.FullRune(buf[:2])
// 返回 false

FullRuneInString(s string) bool

檢測 string s 是否包含一個完整 UTF-8 編碼。

buf := "康" // 康
utf8.FullRuneInString(buf)
// 返回 true
utf8.FullRuneInString(buf[:2])
// 返回 false

RuneCount(p []byte) int

返回 []byte p 中的 UTF-8 編碼的碼值的個數。

buf := []byte("小韓說課")
len(buf)
// 返回 12
utf8.RuneCount(buf)
// 返回 4

RuneCountInString(s string) (n int)

返回 string s 中的 UTF-8 編碼的碼值的個數。

buf := "小韓說課"
len(buf)
// 返回 12
utf8.RuneCountInString(buf)
// 返回 4

RuneLen(r rune) int

返回 rune r 編碼後的字節數。

utf8.RuneLen(‘康‘)
// 返回 3
utf8.RuneLen(‘H‘)
// 返回 1

RuneStart(b byte) bool

檢測字節 byte b 是否可以作為某個 rune 編碼的第一個字節。

buf := "小韓說課"
utf8.RuneStart(buf[0])
// 返回 true
utf8.RuneStart(buf[1])
// 返回 false
utf8.RuneStart(buf[3])
// 返回 true

Valid(p []byte) bool

檢測切片 []byte p 是否包含完整且合法的 UTF-8 編碼序列。

valid := []byte("小韓說課")
invalid := []byte{0xff, 0xfe, 0xfd}
utf8.Valid(valid)
// 返回 true
utf8.Valid(invalid)
// 返回 false

ValidRune(r rune) bool

檢測字符 rune r 是否包含完整且合法的 UTF-8 編碼序列。

valid := ‘a‘
invalid := rune(0xfffffff)
fmt.Println(utf8.ValidRune(valid))
// 返回 true
fmt.Println(utf8.ValidRune(invalid))
// 返回 false

ValidString(s string) bool

檢測字符串 string s 是否包含完整且合法的 UTF-8 編碼序列。

valid := "小韓說課"
invalid := string([]byte{0xff, 0xfe, 0xfd})
fmt.Println(utf8.ValidString(valid))
// 返回 true
fmt.Println(utf8.ValidString(invalid))
// 返回 false

完！
原文出自：小韓說課
微信關註：小韓說課
技術分享圖片

Go語言中多字節字符的處理

相關推薦

Go語言中多字節字符的處理

語言環境 對應關系 相對 全部 special 每一個 圖片 轉換 完整 1 概述 Go語言的字符串是使用 UTF-8 編碼的。UTF-8 是 Unicode 的實現方式之一。本文內容包括：UTF-8 和 Unicode 的關系，Go語言提供的 unicode 包和 uni

Go語言中的字符串處理

定義 sizeof gui bst utf ges 替換字符串 asp equal 1 概述 字符串，string，一串固定長度的字符連接起來的字符集合。Go語言的字符串是使用UTF-8編碼的。UTF-8是Unicode的實現方式之一。 Go語言原生支持字符串。使用雙引號(

Go語言中其他數據與字符串類型的轉換

byte 轉義字符 符號 檢測 不可 數據 print printf ror 1 概述 Go語言是強類型語言，因此總會需要將字符串轉成需要的類型。比如整型和字符串轉換，字符串和布爾型的轉換等。本文就介紹如何完成這些轉換，以下是Go語言關於字符串轉換的整理說明，主要是與切片類

字節字符轉換流

轉換流 style 轉換 技術分享 images ges .cn 字符 spa 字符流的重點是編碼問題 字節字符轉換流

python基本數據類型（字節字符十進制十六進制二進制轉換）

style log encoding 基本 轉換成 元素 nco 轉換 name #公共功能 # 索引：只能取一個元素 # 切片：取多個元素 #len:計算長度 #for name=‘李露‘ #utf-8 一個漢字三個字節 for i in name:

go語言unix域套接字發送udp報文

dial ring pack sock world lis add client 語言 /* server.go */package mainimport ( "fmt" "net" &quo

字節/字符——輸入/輸出流

努力加油一:1.計算機如何存儲中文的? 當前平臺默認編碼集 :GBK 一個中文兩個字節第一個字節:一定是負數第二個字節:一般是負數,可能也會是正數,不會影響的結果.*/public class StringDemo {public static void main(String[] args) {//定義一個

double、float等多字節數據處理

memcpy 大小 強制 int 問題 超過 amp 內存拷貝函數 多字節 float：4字節 double：8字節 問題：怎麽把上面兩中類型放在2個字節類型中呢？【假設其大小不超過兩個字節】 1、強制轉換 double a=1.0; Int16 b = (Int16)a;

Go語言中的運算符

成語 就是 號碼 嚴格 內存地址 type 更改 能夠 存儲空間 1 概述 Go語言提供了，算術，關系，邏輯，位，指針，賦值運算符。本篇整體說明一下。 2 算術運算 + 相加 - 相減 * 相乘 / 相除 % 求余 ++ 自增 -- 自減 幾個細節，需要留意一下。 整

GO語言中封裝，繼承，和多型

封裝 go中的封裝和java的不太一樣，在go裡面是沒有java中的class，不過可以把struct看成一個類，封裝可以簡單地看作對struct的封裝，對應封裝struct的方法。 type obj1 struct { valte1 string } type obj2 s

go語言中的運算符^，&

nbsp 取反 UNC ken keyword word ber fun 相同 一、^運算符 1、作為二元運算符 ^作二元運算符就是異或，包括符號位在內，相同為0，不相同為1 規則：1^1 =0, 0^0=0,1^0=1,0^1=1 事例： （1）0001 010

最全面的Java字節byte操作,處理Java基本數據的轉換及進制轉換操作工具,流媒體及java底層開發項目常用工具類

進制 string 常用工具類 cat i++ logs 指定位置 tput off 前言：用於處理Java基本數據的轉換及進制轉換操作工具 一、實現功能 1、int預byte互轉 2、int與byte[]互轉 3、short與byte互轉 4、short與byte[]互轉

Go -- 在Go語言中使用JSON struct

字母 ims bgcolor board channel rgs pick marshal player Encode 將一個對象編碼成JSON數據，接受一個interface{}對象，返回[]byte和error： func Marshal(v interface{}

如何在GO語言中使用Kubernetes API？

GO KUbernetes Kubernetes API 微服務 控制器 Rancher Labs首席軟件工程師Alena Prokharchyk受邀在2017年12月6-8日的CNCF主辦的Kubernetes領域頂級盛會KubeCon + CloudNativeCon 2017北美峰會

002_解析go語言中的回調函數

println 函數類 () pos span 示例 lB 解析 作用 回調函數是一種特殊的函數寫法，在很多場景中發揮廣泛的作用。但是對於初學者來說，回調函數是比較頭疼的一個東西，不太好懂，筆者研究了一番，以網上的一個例子詳細說明一下 首先看一個代碼示例（來源於網上） pa

go語言中通過http訪問需要認證的api

read light {} true 訪問 users tps ada 返回 　　 func main() { //生成client 參數為默認 client := &http.Client{} //生成要訪問的url url := "https://a

005_針對於go語言中速率限制的思考

回來 條件 chan 針對 完成 結果 int ++ if條件 在之前的go語言的速率限制這篇文章裏，我們嘗試了普通的速率限制，和脈沖型速率限制。其中，脈沖型速率限制是放開了限制，裏面有3個請求是一次性到達，然後再按照200ms的速度限制的，之前的代碼如下所示： pack

Go語言中正則表達式的使用

Go語言正則表達式 Go語言正則表達式的使用 Go語言 正則表達式 許多程序語言都支持使用正則表達式對字符串進行操作，Go語言也不例外，正則表達式的語法網上很多教程，本文主要介紹在Go語言中如何使用正則表達式，通過以下實例進行說明，並添加了詳細的註釋，不會的小夥伴一看就明白了。 func ma

Go 語言中數據類型的判斷

Go 語言中數據類型的判斷 Go數據類型判斷 Go數據類型 Go 語言中數據類型的判斷，本文介紹三種方法。方法一：使用i.(type)結合空接口(interface{}) func main() { v1 := "中國你好" v2 := 20 var v3 byte =

Go語言中的反射機制reflect

Go語言中的反射機制reflect Go語言反射機制 Go語言reflect go的反射機制是要通過接口來進行的，而類似於Java的Object的空接口可以和任何類型進行交互，因此對基本數據類型等的反射也直接利用了這一特點。 package main import ( "fmt"