【Camera專題】Qcom-你應該掌握的Camera基礎一

安卓開發 · 發表 2019-01-27 03:13:13

摘要：日常吐槽： 12月27號入職，從MTK平臺轉到展訊平臺，導師給安排關於Camera了2個棘手的任務，展訊那邊都沒有找到解決方案的，最終靠自己解決了，也證明了自己一波。當然也被導師表揚瞭解決問題的效率和方法。這邊主要做高通的旗艦機，因此，又要研究高通平臺的Camera這一塊。 ...

日常吐槽： 12月27號入職，從MTK平臺轉到展訊平臺，導師給安排關於Camera了2個棘手的任務，

展訊那邊都沒有找到解決方案的，最終靠自己解決了，也證明了自己一波。

當然也被導師表揚瞭解決問題的效率和方法。

這邊主要做高通的旗艦機，因此，又要研究高通平臺的Camera這一塊。

折騰來去，一下子3個平臺都接觸了，也是挺心累的，沒人指導，也沒有能探討這一塊技術的人！

算了，修行靠個人，自己慢慢積累吧！摸索出自己的方法。

本文涉及知識點：

1.Camera啟動速度分析(Hal層的耗時)
2.如何檢視Camera的幀率(fps):拍照和視訊
3.獲取資料流的幀(YUV圖)

二、知識點

如何看log是我們新手工程師很頭疼的問題，很多新手工程師遇到了問題，卻不知道log怎麼分析，看著幾萬行的log，就頭大！我覺得，想要分析問題，學會看log很重要，無法就以下2個方面：

1 掌握相關模組的知識例如：你要做Camera驅動和Hal層這一塊，首先你得掌握它的流程吧，比如open、preview、takePicture等流程，其次你得掌握資料流是怎麼傳送的吧等等這些就要你自己看部落格，看官方文件，跟原始碼，向老師傅請假去學習了。
2 經驗積累這些經驗可能是高通工程師教你的，也可能是老前輩，比如他們會告訴你搜尋xxx關鍵字去檢視，比如怎麼看檢視拍照時的幀率(fps)等

老前輩的經驗分享趕緊做筆記！！！

ps:以下操作需要在adb root情況下進行

1.Camera啟動速度(Hal層的耗時)

Camera的啟動速度，是我們經常做優化的地方，除了通過儀器去測量，還可以通過Log來檢視！ 搜尋關鍵字：[KPI Perf]

01-24 17:55:57.6573714074 D QCamera2HWI: [KPI Perf] int qcamera::QCamera2HardwareInterface::openCamera(hw_device_t**): 
E PROFILE_OPEN_CAMERA camera id 0//這裡開啟攝像頭
01-24 17:55:58.1393712380 D QCamera2HWI: [KPI Perf] 
static int qcamera::QCamera2HardwareInterface::start_preview(camera_device*):
 E PROFILE_START_PREVIEW
01-24 17:55:58.528371 16975 D QCamera2HWI: int qcamera::QCamera2HardwareInterface::startPreview(): X
01-24 17:55:58.5283712380 D QCamera2HWI: [KPI Perf] static int qcamera::QCamera2HardwareInterface::
start_preview(camera_device*): X
01-24 17:55:58.53029712971 D CameraManager: {CameraManager.initVideoCamera-199} 
攝像頭開啟預覽.
01-24 17:55:58.654371 17015 D QCamera2HWI: [KPI Perf] static void qcamera::QCamera2HardwareInterface::
preview_stream_cb_routine(mm_camera_super_buf_t*, qcamera::QCameraStream*, void*) : 
PROFILE_FIRST_PREVIEW_FRAME//第一幀預覽畫面出現
複製程式碼

開啟Camera的時間點:01-24 17:55:57.657 第一幀預覽畫面出現的時間點:01-24 17:55:58.654 耗時:0.997s(將近1s左右) 注意這是從進入開始Hal層的計算的耗時

我們來看看原始碼，

int QCamera2HardwareInterface::openCamera(struct hw_device_t **hw_device)
{
··· 
CDBG_HIGH("[KPI Perf] %s: E PROFILE_OPEN_CAMERA camera id %d", __func__,mCameraId);
rc = openCamera();
···
}
複製程式碼

void QCamera2HardwareInterface::preview_stream_cb_routine(mm_camera_super_buf_t *super_frame,
QCameraStream * stream,
void *userdata)
{
ALOGD("[KPI Perf] %s : BEGIN", __func__);
···
if(pme->m_bPreviewStarted) {
CDBG_HIGH("[KPI Perf] %s : PROFILE_FIRST_PREVIEW_FRAME", __func__);
pme->m_bPreviewStarted = false ;
}
···
}
複製程式碼

事實上，高通也只是在呼叫地方列印了一下當前的時間點，因此如果你想分析某個功能的耗時，就按照高通的思路，呼叫前後列印一下當前函式就可以了，最後再通過時間戳計算耗時！當然了，在哪裡加log就要自己對流程熟悉了！！！

2.如何檢視Camera的幀率(fps):拍照和視訊

1 拍照幀率原始碼: hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

void QCamera2HardwareInterface::debugShowPreviewFPS()
{
static int n_pFrameCount = 0; 
static int n_pLastFrameCount = 0; 
static nsecs_t n_pLastFpsTime = 0; 
static double n_pFps = 0; 
n_pFrameCount++;
nsecs_t now = systemTime();
nsecs_t diff = now - n_pLastFpsTime;
if (diff > ms2ns(250)) {
n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *
(double)(s2ns(1))) / (double)diff;
CDBG_HIGH("[KPI Perf] %s: PROFILE_PREVIEW_FRAMES_PER_SECOND : %.4f", __func__, n_pFps);
n_pLastFpsTime = now; 
n_pLastFrameCount = n_pFrameCount;
}
}
複製程式碼

hal層是如何計算實際輸出的幀率：

n_pFps = (((double)(n_pFrameCount - n_pLastFrameCount)) *(double)(s2ns(1))) / (double)diff;
複製程式碼

搜尋關鍵字：PROFILE_PREVIEW_FRAMES_PER_SECOND預設fps是不輸出的，需要用到adb命令開啟

2.視訊幀率原始碼: hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

void QCamera2HardwareInterface::debugShowVideoFPS()
{
static int n_vFrameCount = 0; 
static int n_vLastFrameCount = 0; 
static nsecs_t n_vLastFpsTime = 0; 
static double n_vFps = 0; 
n_vFrameCount++;
nsecs_t now = systemTime();
nsecs_t diff = now - n_vLastFpsTime;
if (diff > ms2ns(250)) {
n_vFps = (((double)(n_vFrameCount - n_vLastFrameCount)) *
(double)(s2ns(1))) / (double)diff;
ALOGE("Video Frames Per Second: %.4f", n_vFps);
n_vLastFpsTime = now; 
n_vLastFrameCount = n_vFrameCount;
}
}
複製程式碼

搜尋關鍵字：Video Frames Per Second執行命令

adb root
adb shell setprop persist.debug.sf.showfps 1 
adb shell
logcat | grep"Video Frames Per Second"
複製程式碼

3.獲取資料流的幀(YUV圖)

原始碼： hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

void QCamera2HardwareInterface::dumpFrameToFile(QCameraStream *stream,
mm_camera_buf_def_t *frame, uint32_t dump_type)
{
char value[PROPERTY_VALUE_MAX];
property_get("persist.camera.dumpimg", value, "0");
uint32_t enabled = (uint32_t) atoi(value);
uint32_t frm_num = 0;
uint32_t skip_mode = 0;

if (stream)
mDumpFrmCnt = stream->mDumpFrame;
if(enabled & QCAMERA_DUMP_FRM_MASK_ALL) {
if((enabled & dump_type) && stream && frame) {
frm_num = ((enabled & 0xffff0000) >> 16);
if(frm_num == 0) {
frm_num = 10; //default 10 frames
}
if(frm_num > 256) {
frm_num = 256; //256 buffers cycle around
}
skip_mode = ((enabled & 0x0000ff00) >> 8);
if(skip_mode == 0) {
skip_mode = 1; //no-skip
}
if(stream->mDumpSkipCnt == 0)
stream->mDumpSkipCnt = 1;

if( stream->mDumpSkipCnt % skip_mode == 0) {
if((frm_num == 256) && (mDumpFrmCnt >= frm_num)) {
// reset frame count if cycling
mDumpFrmCnt = 0;
}
if (timeinfo != NULL)
strftime (timeBuf, sizeof(timeBuf), "/data/misc/camera/%Y%m%d%H%M%S", timeinfo);
···
}
複製程式碼

從原始碼中我們可以得出很多資訊：

如果你想檢視預覽、視訊、快照、縮圖、Raw 或 JPEG 幀，那麼：

以下命令可在啟動攝像頭應用之前啟用幀轉儲設定。

adb root 
adb shell chmod 777 /data/misc/camera 
adb shell setprop persist.camera.dumpimg 655615
複製程式碼

在本例中，655615（十六進位制表示為 0xA00FF）是指根據攝像頭應用的工作模式，

連續十個幀的所用預覽、視訊、快照、縮圖、Raw 或 JPEG 幀

都會被轉儲到 /data/misc/camera 資料夾。 /vendor/qcom/hardware/qcom/camera/QCamera2/HAL/QCamera2HWICallbacks.cpp

檔案的 QCamera2HardwareInterface::dumpFrameToFile() 函式用於轉儲 /data 資料夾下的檔案。

有關每種幀型別使用的檔案命名約定，可參見原始碼中的 dumpFrameToFile() 函式.

我們來看實際效果:

以下是預覽的時候的yuv圖,使用YUVViewer工具檢視

YUVView工具下載連結

提取碼: h6j6

為啥是從第三張開始:

因為預設跳過了前2幀影象

vendor/qcom/proprietary/mm-camera/mm-camera2/media-controller/
modules/sensors/sensor_libs/ov5675_d5v15b/ov5675_d5v15b_lib.c
static sensor_lib_t sensor_lib_ptr = {
···
/* number of frames to skip after start stream */
.sensor_num_frame_skip = 2, 
···
}
複製程式碼

以上就是本篇Camera的知識積累了！

一會就要開年會了，

下期再見！！！