參考文件

開發環境介紹

• 主機作業系統：Ubuntu14.04 64位
• 目標平臺：BoxV3 全志H8
• 交叉工具鏈：arm-linux-gnueabihf，gcc4.8.5
• opencv版本：3.2.0
• libjpeg-turbo：1.5.90
• 編譯時間：2018.7.26

libjpeg-turbo介紹

libjpeg-turbo是一個使用SIMD技術(MMX、SSE2、AVX2、NEON)進行加速的JPEG編碼解碼器，能夠在基於x86、x86_64、arm的系統上使用。相對於標準版libjpeg能夠提供2-6x的效能提升。

libjpeg-turbo交叉編譯

設定本地編譯鏈和交叉編譯鏈

# 在/etc/bash.bashrc的最後增加如下指令
# Native Compiler
export AR_host="ar"
export CC_host="gcc"
export CXX_host="g++"
export LINK_host="g++"

# Allwinner H8 BoxV3 cross compiler, Qt 5.8.0 SDK
export ARCH=arm
export PATH=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/:$PATH
export CROSS_COMPILE=arm-buildroot-linux-gnueabihf-
export
 
 CC=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-gcc    
export CXX=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-g++    
export LD=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-ld
export
 
 AR=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-ar
export AS=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-as
export RANLIB=/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-ranlib
# 修改完成之後需要重啟命令列才能生效
# 你可以通過如下指令來確認交叉編譯鏈是否已經設定好
echo $CC 
# 當顯示/home/root/CQA83TLinux_Qt5.8.0_bv3/buildroot-2017.02.3/output/host/usr/bin/arm-buildroot-linux-gnueabihf-gcc時表示交叉編譯鏈
# 已經設定好
# 當需要更換為本機編譯時遮蔽上面的指令即可

這裡選擇最新的1.5.90版本(時間點為2018-6-1)

修改CmakeLists.txt

# 當在配置cmake時出現了找不到system和cpu時，在cmake檔案開頭手動指定
set(CMAKE_SYSTEM_NAME Linux)
set(CMAKE_SYSTEM_PROCESSOR arm)

新建cmake Build目錄

cd libjpeg-turbo-1.5.90
mkdir _build

開啟cmake-gui進行交叉編譯鏈配置

選擇Specify options for cross-compiling，進入交叉編譯鏈設定介面

點選Configure

再次修改設定選項：

# 指定安裝型別和目錄
CMAKE_BUILD_TYPE                  Release
CMAKE_INSTALL_PREFIX              /usr/local/BoxV3/libjpeg-turbo-1.5.90

CMAKE_C_FLAGS                     -mfpu=neon -march=armv7-a -fPIC
CMAKE_CXX_FLAGS                   -mfpu=neon -march=armv7-a -fPIC
WITH_JPEG8                        TRUE # 勾選JPEG8介面模擬，因為opencv只能使用標準JPEG的介面

點選Configure

點選Generate生成Makefile

進入_install目錄&編譯

cd _build
make -j8 
make install

opencv替換JPEG解碼庫

在實用cmake-gui配置opencv時手動新增JPEG相關庫的資訊

JPEG_INCLUDE_DIR   /usr/local/H3/libjpeg-turbo-1.5.90/include # 值為上面編譯libjpeg-turbo的目標位置  
JPEG_LIBRARY       /usr/local/H3/libjpeg-turbo-1.5.90/lib/libjpeg.so

BUILD_JPEG         # 這裡必須關閉編譯3rd_party目錄下的jpeg原始碼
WITH_JPEG          # 開啟 

JPEG解碼加速手段

影象區域性解碼

參考libjpeg.txt的Partial image decompression章節。這個技術適用於效能敏感型的應用場景，在這個場景下我們只需要檢視一個大尺寸影象的一部分內容而不需要解碼整幅影象。libjpeg提供了兩個介面來實現這個功能：

1. jpeg_skip_scanlines(y方向)
2. jpeg_crop_scanline(x方向)

IDCT Scale

參考libjpeg.txt的scale_num, scale_denom部分。

這個方法可以通過控制IDCT的Scale功能來實現縮放操作，並且可以大幅減少解碼時間。而且如果針對的是深度學習演算法，本身網路輸入的尺寸一般會小於高清視訊的解析度，這樣還可以減少解碼之後再次進行縮放的耗時。

Fast Upsampling & Fast IDCT

Multi-Thread

修改Opencv解碼設定

程式碼檔案：opencv-3.2.0/modules/imgcodecs/src/grfmt_jpeg.cpp
函式：JpegDecoder::readHeader()
行數：243行

jpeg_read_header( &state->cinfo, TRUE );

// 設定加速解碼相關選項
state->cinfo.do_fancy_upsampling = FALSE;
state->cinfo.do_block_smoothing = FALSE;
state->cinfo.dct_method = JDCT_FASTEST;
state->cinfo.dither_mode = JDITHER_NONE;

state->cinfo.scale_num=1;
state->cinfo.scale_denom = m_scale_denom;

效能加速統計

測試晶片：全志H8
opencv版本：3.2.0
libjpeg-turbo版本：1.5.90
解碼圖片尺寸：1600 x 1200