文章目錄

• 安裝freetype2與中文環境
• makefile編寫
• CvText.cpp
• CvText.h
• tools.cpp
• tools.h
• 如何在gstreamer中，向視訊畫面寫入中文

安裝freetype2與中文環境

sudo add-apt-repository ppa:glasen/freetype2
sudo apt update
sudo apt install freetype2-demos
 

安裝完成後，還需要安裝本地中文環境資訊
Ubuntu預設安裝的中文環境為zh_CN.utf8,然後很多windows的文件還是以GB2312或GBK編碼儲存的,因此十分有必要在Ubuntu下生成GBK或GB2312的locale否則還是不能寫入中文字元:

• 修改/var/lib/locales/supported.d/local檔案,在檔案中新增以下內容，若無此檔案，則先建立檔案
  zh_CN.GBK GBK
  zh_CN.GB2312 GB2312
• 執行 sudo dpkg-reconfigure --force locales ，執行命令後出現圖形介面，選擇最後的中文字型檔
  確認後在輸出的結果中會出現以下資訊，耐心等待
  zh_CN.GB2312 done
  zh_CN.GBK done
  zh_CN.UTF8 done
  基本上選擇這三種就可以了

makefile編寫

CC =g++  -std=c++11 -pthread
CFLAGS = -g -Wall
SRCS = CvText.cpp tools.cpp show_chinese.cpp
PROG = test
FREETYPE_INCLUDE = -I  /usr/include/freetype2
OPENCV = `pkg-config  opencv --cflags --libs`
LIBS = $(OPENCV)  
$(PROG):$(SRCS) 
	$(CC) $(CFLAGS) $(FREETYPE_INCLUDE) -o $(PROG) $(SRCS) $(LIBS) -lfreetype
 

makefile主要需要連結freetype庫，新增freetype2庫的標頭檔案目錄，以及opencv相關目錄
網上找了很多關於用Opencv洗中文字元的問題，結合freetype大都需要CvText.cpp,CvText.h,tools.cpp這三個檔案。

CvText.cpp

#include <cwchar>
#include <clocale>
#include <cctype>
#include <utility>
#include "tools.h"
#include "CvText.h"

using namespace Utils;

CvText::CvText(const char *fontName,TextEncoding encoding) {
    ASSERT(fontName != nullptr, "字型名稱為空");

    // 開啟字型檔檔案, 建立一個字型
    ASSERT(FT_Init_FreeType(&m_library) == 0,
           "初始化字型檔失敗，請檢查freetype庫配置是否正確");
    ASSERT(FT_New_Face(m_library, fontName, 0, &m_face) == 0,
           "載入字型失敗，請檢查字型檔案是否存在");

    //選擇字元編碼
    switch (encoding){
        case UTF8:
            FT_Select_Charmap(m_face,FT_ENCODING_UNICODE);
            m_textEncoding = "zh_CN.utf8";
            break;
        case GB2312:
            FT_Select_Charmap(m_face,FT_ENCODING_GB2312);
            m_textEncoding = "zh_CN.gb2312";
            break;
        default:
            ASSERT(false, "不支援的文字編碼");
    }

    // 設定字型輸出引數
    resetTextStyle();
}

// 釋放FreeType資源
CvText::~CvText() {
    FT_Done_Face(m_face);
    FT_Done_FreeType(m_library);
}

// 設定文字屬性
void CvText::setTextStyle(int fontSize, float spaceSize, float separatorSize, float fontDiaphaneity) {
    if(fontSize>0)
        m_fontSize = fontSize;
    if(spaceSize>0)
        m_spaceRatio = spaceSize;
    if(separatorSize>0)
        m_separatorRatio = separatorSize;
    if(fontDiaphaneity>0)
        m_fontDiaphaneity = fontDiaphaneity;
}

// 恢復預設的文字設定
void CvText::resetTextStyle() {
    m_fontSize = 20;        // 字型大小
    m_spaceRatio = 0.5;     // 空白字元大小比例
    m_separatorRatio = 0.1;     // 間隔大小比例
    m_fontDiaphaneity = 1.0;    // 透明度
}


int CvText::putText(cv::Mat &frame, std::string text, cv::Point pos, cv::Scalar color) {
    return putText(frame,text.c_str(),pos, std::move(color));
}

int CvText::putText(cv::Mat &frame, const char *text, cv::Point pos, cv::Scalar color) {

    if (frame.empty())
        return -1;
    if (text == nullptr)
        return -1;

    wchar_t *w_str ;
    int count = char2Wchar(text, w_str,m_textEncoding.c_str());
    //
    for (int i=0; i<count; ++i) {
        wchar_t wc = w_str[i];
        //如果是ascii字元(範圍0~127)，調整字型大小
        //因為ascii字元在同樣的m_fontSize下更小，所以要放大1.15倍
        if(wc<128)
            FT_Set_Pixel_Sizes(m_face, (FT_UInt)(m_fontSize*1.15), 0);
        else
            FT_Set_Pixel_Sizes(m_face, (FT_UInt)m_fontSize, 0);
        // 輸出當前的字元
        putWChar(frame, wc, pos, color);
    }
    delete(w_str);
    return count;
}

/**
 * 將char字元陣列轉換為wchar_t字元陣列
 * @param src char字元陣列
 * @param dst wchar_t字元陣列
 * @param locale 語言環境，mbstowcs函式依賴此值來判斷src的編碼方式
 * @return 執行成功返回0,否則返回-1
 */
int CvText::char2Wchar(const char *&src, wchar_t *&dst, const char *locale)
{
    if (src == nullptr) {
        dst = nullptr;
        return -1;
    }
    // 設定C語言的字符集環境
    char *result = setlocale(LC_CTYPE, locale);
    // 檢查設定編碼是否成功，失敗的話丟擲異常"設定字元編碼失敗"等資訊
    ASSERT(result != nullptr, "設定字元編碼失敗。\n"
                              "對於zh_CN.GBK或者zh_CN.GB2312編碼，"
                              "先安裝中文語言包，然後根據下面連結來設定：\n"
                              "https://blog.csdn.net/wenwenxiong/article/details/17116791\n");
    // 得到轉化為需要的寬字元大小
    int w_size = (int)mbstowcs(nullptr, src, 0) + 1;
    // w_size = 0 說明mbstowcs返回值為-1。即在執行過程中遇到了非法字元(很有可能是locale沒有設定正確)
    if (w_size == 0) {
        dst = nullptr;
        return -1;
    }
    // 分配記憶體
    dst = new wchar_t[w_size];
    // 把char字元陣列轉換為wchar_t字元陣列
    auto ret =  (int)mbstowcs(dst, src, strlen(src)+1);
    // 恢復預設的字元編碼，以免影響程式的其他部分
    setlocale(LC_CTYPE,"");
    return ret;
}


// 輸出當前字元, 更新m_pos位置
void CvText::putWChar(cv::Mat &frame, wchar_t wc, cv::Point &pos, cv::Scalar color) {
    // 根據unicode生成字型的二值點陣圖  
    IplImage img = IplImage(frame);

    FT_UInt glyph_index = FT_Get_Char_Index(m_face, (FT_ULong)wc);
    FT_Load_Glyph(m_face, glyph_index, FT_LOAD_DEFAULT);
    FT_Render_Glyph(m_face->glyph, FT_RENDER_MODE_MONO);

    FT_GlyphSlot slot = m_face->glyph;

    // 行列數
    int rows = slot->bitmap.rows;
    int cols = slot->bitmap.width;

    for (int i = 0; i < rows; ++i) {
        for (int j = 0; j < cols; ++j) {
            int off = ((img.origin == 0) ? i : (rows - 1 - i)) * slot->bitmap.pitch + j / 8;

            if (slot->bitmap.buffer[off] & (0xC0 >> (j % 8))) {
                int r = (img.origin == 0) ? pos.y - (rows - 1 - i) : pos.y + i;;
                int c = pos.x + j;

                if (r >= 0 && r < img.height && c >= 0 && c < img.width) {
                    CvScalar scalar = cvGet2D(&img, r, c);

                    // 進行色彩融合
                    float p = m_fontDiaphaneity;
                    for (int k = 0; k < 4; ++k) {
                        scalar.val[k] = scalar.val[k] * (1 - p) + color.val[k] * p;
                    }
                    cvSet2D(&img, r, c, scalar);
                }
            }
        } // end for  
    } // end for  

    // 修改下一個字的輸出位置
    double space = m_fontSize * m_spaceRatio;
    double sep = m_fontSize * m_separatorRatio;

    pos.x += (int) ((cols ? cols : space) + sep);
}

CvText.h

/**
 * 使用freetype這個庫，可以說是非常複雜。要保證程式原始碼、
 * setlocale和FT_Select_CharMap三者的編碼一致，才不會亂碼。
 *
 * 程式原始碼的編碼很重要，編碼不同，其中漢字的編碼也不同；
 * setlocale是用來配置地域的資訊，設定當前程式使用的本地化資訊，
 * 很多函式依賴於這個函式的設定(比如mbstowcs函式，功能是將char
 * 字串陣列轉換為wchar_t字元陣列，依賴setlocale函式的設定來
 * 判斷char字元陣列的編碼)；FT_Select_CharMap是freetype庫中
 * 用來設定字元編碼的函式；因此，要想不出現亂碼，這三者的編碼必須
 * 要一樣。
 *
 * 在我的程式中，三者的編碼均為UTF-8
 *
 * 還有一個非常關鍵的問題，字型檔案必須包含中文。
 */
#ifndef CV_TEXT_H
#define CV_TEXT_H

#include <opencv2/opencv.hpp>

#include <ft2build.h>
#include FT_FREETYPE_H

namespace Utils {
    class CvText {
    public:

        /**
         * 文字編碼
         */
        typedef enum {
            UTF8, GB2312
        } TextEncoding;

        /**
         * 建構函式，初始化一個字型
         * @param fontName 字型名稱
         * @param encoding putText函式的引數中的文字編碼，
         * 需要和程式碼的編碼一致，否則會出現亂碼。
         * 目前僅支援UTF-8(很多IDE的原始碼預設編碼)和GB2312(
         * Visual Studio中文環境下的預設編碼)這兩種編碼。
         */
        explicit CvText(const char *fontName, TextEncoding encoding = TextEncoding::UTF8);

        virtual ~CvText();

        /**
         * 設定文字屬性
         * @param fontSize 字型大小
         * @param spaceRatio 空格大小比例
         * @param separatorRatio 分隔符大小比例
         * @param fontDiaphaneity 透明度
         */
        void setTextStyle(int fontSize, float spaceRatio = 0.5f,
                          float separatorRatio = 0.1f, float fontDiaphaneity = 1.0f);

        /**
         * 恢復預設文字設定
         */
        void resetTextStyle();

        /**
         * 將text的內容放到frame的指定位置(pos)，預設文字顏色為黑色。
         * @param frame 輸出的影象
         * @param text 文字內容
         * @param pos 文字位置
         * @param color 文字顏色
         * @return 返回成功輸出的字元長度，失敗返回-1。
         */
        int putText(cv::Mat &frame, std::string text, cv::Point pos,
                    cv::Scalar color = cv::Scalar(0, 0, 0));

        /**
          * 將text的內容放到frame的指定位置(pos)，預設顏色為黑色。
          * @param frame 輸出的影象
          * @param text 文字內容
          * @param pos 文字位置
          * @param color 文字顏色
          * @return 返回成功輸出的字元長度，失敗返回-1。
          */
        int putText(cv::Mat &frame, const char *text, cv::Point pos,
                    cv::Scalar color = cv::Scalar(0, 0, 0));

        //私有函式區
    private:
        /**
         * 輸出wc到frame的pos位置
         * @param frame 輸出Mat
         * @param wc 字元
         * @param pos 位置
         * @param color 顏色
         */
        void putWChar(cv::Mat &frame, wchar_t wc, cv::Point &pos, cv::Scalar color);

        /**
         * 將char字元陣列轉換為wchar_t字元陣列
         * @param src char字元陣列
         * @param dst wchar_t字元陣列
         * @param locale 語言環境，mbstowcs函式依賴此值來判斷src的編碼方式
         * @return 執行成功返回0,否則返回-1
         */
        int char2Wchar(const char *&src, wchar_t *&dst, const char *locale = "");

        //私有變數區
    private:
        FT_Library m_library;           // 字型檔
        FT_Face m_face;                 // 字型

        // 預設的字型輸出引數
        int m_fontSize;                 // 字型大小
        float m_spaceRatio;             // 空白字元大小比例
        float m_separatorRatio;         // 字元間分隔距離大小比例
        float m_fontDiaphaneity;        // 透明度
        std::string m_textEncoding;     // 文字編碼
    };
}
#endif // CV_TEXT_H

tools.cpp

#include <iostream>
#include <string>
#include "tools.h"

using namespace std;

void error(const string &filePath, const string &function, int line, const string &info) {
    //獲取檔名
    unsigned long pos = filePath.find_last_of('/');
    string filename(filePath.substr(pos + 1));
    string err = "檔案:" + filename + ",函式:" + function + ",行:" + to_string(line) + ">>  " + info;
    //丟擲錯誤
    throw runtime_error(err);
}

void warning(const string &filePath, const string &function, int line, const string &info) {
    //獲取檔名
    unsigned long pos = filePath.find_last_of('/');
    string filename(filePath.substr(pos + 1));
    string err = "檔案:" + filename + ",函式:" + function + ",行:" + to_string(line) + ">>  " + info;
    //輸出警告
    cerr << err << endl;
}

tools.h

#ifndef TOOLS_H
#define TOOLS_H

#include <string>

/**
 * condition為false時丟擲錯誤，錯誤資訊為error_message
 */
#define ASSERT(condition,error_message) \
    if (!(condition)){\
        error(__FILE__, __func__, __LINE__,error_message); \
    }
/**
 * condition為false時輸出警告，錯誤資訊為warning_message
 */
#define WARNING(condition,warning_message)\
    if (!(condition)){\
        warning(__FILE__, __func__, __LINE__,error_message); \
    }

void error(const std::string &filePath, const std::string &function,
           int line, const std::string &info);

void warning(const std::string &filePath, const std::string &function,
                    int line, const std::string &info);

/**
 * condition為true時不做任何動作;
 * condition為false時輸出false_message,並返回false_value.
 */
#define IF(condition,false_message,false_value) \
    if (!(condition)){\
        std::cerr<<"Line:"<<__LINE__<<">>"<<(false_message)<<std::endl; \
        return (false_value); \
    }
#endif //TOOLS_H

如何在gstreamer中，向視訊畫面寫入中文

首先你需要在獲取視訊原始影象資料的元件中，拿到第一手的視訊資料，一般是RGB或者BGR格式的，用OpenCV的話，請使用BGR格式，因為OpenCV使用大端方式儲存影象資料。
假設這是你的pipeline如下：
v4l2src device=/dev/video2 ! 'video/x-raw,format=BGR,width=1280,height=720' ! queue ! videoconvert ! omxh264enc insert-sps-pps=true ! queue ! rtph264pay ! udpsink host=192.168.1.100 port=5001
那麼就可以在queue元件的srcpad上繫結一個回撥函式，關鍵程式碼如下：

process_pad = gst_element_get_static_pad (data.process_queue, "src");
gst_pad_add_probe (process_pad, GST_PAD_PROBE_TYPE_BUFFER,(GstPadProbeCallback) cb_queue_data, NULL, NULL);
//建立CvText物件：
CvText* pText;
CvText text("/home/nvidia/steering_wheel/SimHei.ttf",CvText::UTF8);
pText = &text;
pText->setTextStyle(30, 0.5f, 0.1f, 1.0f);
// cb_queue_data回撥函式讀取資料，完成寫入中文後，再將資料放回。此示例可能會造成視訊延遲，可以用佇列實現無延遲寫入中文
static GstPadProbeReturn
cb_queue_data (GstPad          *pad,
              GstPadProbeInfo *info,
              gpointer         user_data)
{
     GstMapInfo map;
     GstBuffer *buffer;

     buffer = GST_PAD_PROBE_INFO_BUFFER (info);
     buffer = gst_buffer_make_writable (buffer);
     if (buffer == NULL) return GST_PAD_PROBE_OK;

     /* Mapping a buffer can fail (non-writable) */
     if (gst_buffer_map (buffer, &map, GST_MAP_WRITE))
     {  
          frame_count++;
          Mat frame(Size(1280, 720), CV_8UC3, (char*)map.data, Mat::AUTO_STEP);
          putText(frame, getTimeStamp(), Point(5, 25), FONT_HERSHEY_DUPLEX, 1, Scalar(255,255,255), 2);

          pText->putText(frame,"人工干預次數：", Point(5, 60),Scalar(255, 255, 255));
   
          gint size=frame.cols*frame.rows*3;
          //將處理後的影象資料copy至queue
          memcpy(map.data,frame.data,size);
          gst_buffer_unmap (buffer, &map);  
    }
  	GST_PAD_PROBE_INFO_DATA (info) = buffer;
  	return GST_PAD_PROBE_OK;
}