linux下c語言利用iconv函式實現utf-8轉unicode
阿新 • • 發佈：2018-11-29
由於專案中需要轉換原生unicode到ascii的功能，本來想的用的是linux或者windows自帶的寬位元組轉成窄位元組的函式，但由於本身使用了apr_iconv庫，所以直接使用庫函式來解決。
期間碰到了庫函式使用一直出錯的問題，一個是對應name的字符集庫檔案，需要設定一下APR_ICONV1_PATH,參考連結:
https://www.cnblogs.com/chaohi/archive/2011/07/04/2097237.html
還有就是打印不出來outbuf中的東西。
然後參考連結:https://www.cnblogs.com/etangyushan/p/3753847.html
這裡記錄一下:
iconv是linux下的編碼轉換的工具，它提供命令列的使用和函式介面支援
man手冊iconv命令用法如下:
iconv -f encoding -t encoding inputfile
有如下選項可用:
輸入/輸出格式規範：
-f, --from-code=名稱 原始文字編碼 -t, --to-code=名稱 輸出編碼
資訊：
-l, --list 列舉所有已知的字符集
輸出控制：
-c 從輸出中忽略無效的字元 -o, --output=FILE 輸出檔案 -s, --silent 關閉警告 --verbose 列印進度資訊
示例：下面的命令是將一個utf8編碼的檔案轉換為一個unicode編碼的檔案
iconv -f utf-8 -t unicode utf8file.txt> unicodefile.txt
iconv函式族的標頭檔案是iconv.h,使用前需包含之。
#include <iconv.h>
iconv函式族有三個函式,原型如下:
iconv_t iconv_open(const char *tocode, const char *fromcode);
此函式說明將要進行哪兩種編碼的轉換,tocode是目標編碼,fromcode是原編碼,該函式返回一個轉換控制代碼,供以下兩個函式使用。
size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
此函式從inbuf中讀取字元，轉換後輸出到outbuf中，inbytesleft用以記錄還未轉換的字元數，outbytesleft用以記錄輸出緩衝的剩餘空間。
注意: inbuf和outbuf都必須是有儲存空間的不能定義為常量，如: char *inbuf = "abc" 或者是char *outbuf = "123" 這樣定義都是錯誤的。另外inbuf,inbytesleft，outbuf，outbytesleft這幾個引數在使用過程中都會改變，最好是先儲存一個原值，然後再使用。
int iconv_close(iconv_t cd);
此函式用於關閉轉換控制代碼，釋放資源。
基本使用舉例:
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <iconv.h>
int main(int argc, char **argv)
{
/* 目的編碼, TRANSLIT：遇到無法轉換的字元就找相近字元替換
* IGNORE ：遇到無法轉換字元跳過*/
//char *encTo = "UNICODE//TRANSLIT";
char *encTo = "UNICODE//IGNORE";
/* 源編碼 */
char *encFrom = "UTF-8";
/* 獲得轉換控制代碼
*@param encTo 目標編碼方式
*@param encFrom 源編碼方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-1)
{
perror ("iconv_open");
}
/* 需要轉換的字串 */
char inbuf[1024] = "abcdef哈哈哈哈行";
size_t srclen = strlen (inbuf);
/* 列印需要轉換的字串的長度 */
printf("srclen=%d\n", srclen);
/* 存放轉換後的字串 */
size_t outlen = 1024;
char outbuf[outlen];
memset (outbuf, 0, outlen);
/* 由於iconv()函式會修改指標，所以要儲存源指標 */
char *srcstart = inbuf;
char *tempoutbuf = outbuf;
/* 進行轉換
*@param cd iconv_open()產生的控制代碼
*@param srcstart 需要轉換的字串
*@param srclen 存放還有多少字元沒有轉換
*@param tempoutbuf 存放轉換後的字串
*@param outlen 存放轉換後,tempoutbuf剩餘的空間
*
* */
size_t ret = iconv (cd, &srcstart, &srclen, &tempoutbuf, &outlen);
if (ret == -1)
{
perror ("iconv");
}
printf ("inbuf=%s, srclen=%d, outbuf=%s, outlen=%d\n", inbuf, srclen, outbuf, outlen);
int i = 0;
for (i=0; i<strlen(outbuf); i++)
{
printf("%x\n", outbuf[i]);
}
/* 關閉控制代碼 */
iconv_close (cd);
return 0;
}下面做了一下函式的封裝:
/*
* =====================================================================================
*
* Filename: iconv.c
*
* Description: j
*
* Version: 1.0
* Created: 08/05/2015 05:51:47 PM
* Revision: none
* Compiler: gcc
*
* Author: YOUR NAME (),
* Organization:
*
* =====================================================================================
*/
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stdbool.h>
#include <iconv.h>
bool unicode_to_utf8 (char *inbuf, size_t *inlen, char *outbuf, size_t *outlen)
{
/* 目的編碼, TRANSLIT：遇到無法轉換的字元就找相近字元替換
* IGNORE ：遇到無法轉換字元跳過*/
char *encTo = "UTF-8//IGNORE";
/* 源編碼 */
char *encFrom = "UNICODE";
/* 獲得轉換控制代碼
*@param encTo 目標編碼方式
*@param encFrom 源編碼方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-1)
{
perror ("iconv_open");
}
/* 需要轉換的字串 */
printf("inbuf=%s\n", inbuf);
/* 列印需要轉換的字串的長度 */
printf("inlen=%d\n", *inlen);
/* 由於iconv()函式會修改指標，所以要儲存源指標 */
char *tmpin = inbuf;
char *tmpout = outbuf;
size_t insize = *inlen;
size_t outsize = *outlen;
/* 進行轉換
*@param cd iconv_open()產生的控制代碼
*@param srcstart 需要轉換的字串
*@param inlen 存放還有多少字元沒有轉換
*@param tempoutbuf 存放轉換後的字串
*@param outlen 存放轉換後,tempoutbuf剩餘的空間
*
* */
size_t ret = iconv (cd, &tmpin, inlen, &tmpout, outlen);
if (ret == -1)
{
perror ("iconv");
}
/* 存放轉換後的字串 */
printf("outbuf=%s\n", outbuf);
//存放轉換後outbuf剩餘的空間
printf("outlen=%d\n", *outlen);
int i = 0;
for (i=0; i<(outsize- (*outlen)); i++)
{
//printf("%2c", outbuf[i]);
printf("%x\n", outbuf[i]);
}
/* 關閉控制代碼 */
iconv_close (cd);
return 0;
}
bool utf8_to_unicode (char *inbuf, size_t *inlen, char *outbuf, size_t *outlen)
{
/* 目的編碼, TRANSLIT：遇到無法轉換的字元就找相近字元替換
* IGNORE ：遇到無法轉換字元跳過*/
char *encTo = "UNICODE//IGNORE";
/* 源編碼 */
char *encFrom = "UTF-8";
/* 獲得轉換控制代碼
*@param encTo 目標編碼方式
*@param encFrom 源編碼方式
*
* */
iconv_t cd = iconv_open (encTo, encFrom);
if (cd == (iconv_t)-1)
{
perror ("iconv_open");
}
/* 需要轉換的字串 */
printf("inbuf=%s\n", inbuf);
/* 列印需要轉換的字串的長度 */
printf("inlen=%d\n", *inlen);
/* 由於iconv()函式會修改指標，所以要儲存源指標 */
char *tmpin = inbuf;
char *tmpout = outbuf;
size_t insize = *inlen;
size_t outsize = *outlen;
/* 進行轉換
*@param cd iconv_open()產生的控制代碼
*@param srcstart 需要轉換的字串
*@param inlen 存放還有多少字元沒有轉換
*@param tempoutbuf 存放轉換後的字串
*@param outlen 存放轉換後,tempoutbuf剩餘的空間
*
* */
size_t ret = iconv (cd, &tmpin, inlen, &tmpout, outlen);
if (ret == -1)
{
perror ("iconv");
}
/* 存放轉換後的字串 */
printf("outbuf=%s\n", outbuf);
//存放轉換後outbuf剩餘的空間
printf("outlen=%d\n", *outlen);
int i = 0;
for (i=0; i<(outsize- (*outlen)); i++)
{
//printf("%2c", outbuf[i]);
printf("%x\n", outbuf[i]);
}
/* 關閉控制代碼 */
iconv_close (cd);
return 0;
}
int main ()
{
/* 需要轉換的字串 */
//char inbuf[1024] = "abcdef哈哈哈哈行";
char *text = "漢";
char inbuf[1024] = {};
strcpy (inbuf, text);
size_t inlen = strlen (inbuf);
/* 存放轉換後的字串 */
char outbuf[1024] = {};
size_t outlen = 1024;
utf8_to_unicode (inbuf, &inlen, outbuf, &outlen);
printf ("print outbuf: %s\n", outbuf);
size_t outsize = strlen(outbuf);
size_t insize = 1024;
char instr[1024] = {};
unicode_to_utf8 (outbuf, &outsize, instr, &insize);
printf ("print buf: %s\n", instr);
return 0;
}