2. 程式人生 > >android下camera資料流的分析

android下camera資料流的分析

阿新 • • 發佈：2019-02-15
  1. 首先從上層講解下來
  2. Packages/apps/camera/src/com/android/camera/camera.java
  3. private void capture() {
  4.             mCaptureOnlyData = null;
  5.             // See android.hardware.Camera.Parameters.setRotation for
  6.             mParameters.setRotation(rotation);
  7.           …….
  8.            mCameraDevice.setParameters(mParameters);
  9.                 //app 應用註冊takepicture回撥函式
  10.             mCameraDevice.takePicture(mShutterCallback, mRawPictureCallback,
  11.                     mPostViewPictureCallback, new JpegPictureCallback(loc));
  12.             mPreviewing = false;
  13.         }
  14. 下面是關於四個回撥函式的實現
  15. private final class ShutterCallback
  16.             implements android.hardware.Camera.ShutterCallback {
  17.         public void onShutter() {
  18.             mShutterCallbackTime = System.currentTimeMillis();
  19.             mShutterLag = mShutterCallbackTime - mCaptureStartTime;
  20.             Log.v(TAG, "mShutterLag = " + mShutterLag + "ms");
  21.             clearFocusState();
  22.         }
  23. }
  24.   private final class RawPictureCallback implements PictureCallback {
  25.         public void onPictureTaken(
  26.                 byte [] rawData, android.hardware.Camera camera) {
  27.             mRawPictureCallbackTime = System.currentTimeMillis();
  28.             Log.v(TAG, "mShutterToRawCallbackTime = "
  29.                     + (mRawPictureCallbackTime - mShutterCallbackTime) + "ms");
  30.         }
  31.     }
  32.     private final class PostViewPictureCallback implements PictureCallback {
  33.         public void onPictureTaken(
  34.                 byte [] data, android.hardware.Camera camera) {
  35.             mPostViewPictureCallbackTime = System.currentTimeMillis();
  36.             Log.v(TAG, "mShutterToPostViewCallbackTime = "
  37.                     + (mPostViewPictureCallbackTime - mShutterCallbackTime)
  38.                     + "ms");
  39.         }
  40.     }
  41.     private final class JpegPictureCallback implements PictureCallback {
  42.         Location mLocation;
  43.         public void onPictureTaken(
  44.                 final byte [] jpegData, final android.hardware.Camera camera) {
  45.             if (mPausing) {
  46.                 return;
  47.             }
  48.             mJpegPictureCallbackTime = System.currentTimeMillis();
  49.            …………………..
  50.                 //這個函式等下做詳解
  51.             mImageCapture.storeImage(jpegData, camera, mLocation);
  52.         }
  53.     }
  54. 2、上層註冊好回撥函式之後frameworks/base/core/java/android/hardware/camera.java註冊回撥函式
  55.   public final void takePicture(ShutterCallback shutter, PictureCallback raw,
  56.             PictureCallback postview, PictureCallback jpeg) {
  57.         mShutterCallback = shutter;
  58.         mRawImageCallback = raw;
  59.         mPostviewCallback = postview;
  60.         mJpegCallback = jpeg;
  61.      native_takePicture();
  62.     }
  63. frameworks/base/services/camera/libcameraservice
  64. // take a picture - image is returned in callback
  65. status_t CameraService::Client::takePicture() {
  66.     LOG1("takePicture (pid %d)", getCallingPid());
  67.     Mutex::Autolock lock(mLock);
  68.     status_t result = checkPidAndHardware();
  69.     if (result != NO_ERROR) return result;
  70.         //用於判斷指定的msg所對應的callback是否可以回撥
  71.     enableMsgType(CAMERA_MSG_SHUTTER |
  72.                   CAMERA_MSG_POSTVIEW_FRAME |
  73.                   CAMERA_MSG_RAW_IMAGE |
  74.                   CAMERA_MSG_COMPRESSED_IMAGE);
  75.     return mHardware->takePicture();//從這裡就進入hal實現了，即上層提供操作裝置驅動的介面
  76. }
  77. 3、HAL層的實現，介面被定義在cameraHardwareInterface.h檔案中，所以hal層要做的就是實現其介面
  78. 其實寫到這裡，還是有很多不瞭解，如service中stub的概念，IPC的機制如何實現，功底還是太淺了，有空專門研究下這塊
  79. 下面就仔細看下hal如何實現takepicture操作，同時向上層傳遞data
  80. status_t CameraHardwareSec::takePicture()
  81. {
  82.       stopPreview();
  83.     Mutex::Autolock lock(mStateLock);
  84.     if (mCaptureInProgress) {
  85.         LOGE("%s : capture already in progress", __func__);
  86.         return INVALID_OPERATION;
  87.     }
  88.     //啟動PictureThread執行緒
  89.     if (mPictureThread->run("CameraPictureThread", PRIORITY_DEFAULT) != NO_ERROR) {
  90.         LOGE("%s : couldn't run picture thread", __func__);
  91.         return INVALID_OPERATION;
  92.     }
  93.     mCaptureInProgress = true;
  94.     return NO_ERROR;
  95. }
  96. int CameraHardwareSec::pictureThread()
  97. {
  98.     mRawHeap = new MemoryHeapBase(picture_size);
  99.     if (mRawHeap->getHeapID() < 0) {
  100.         LOGE("ERR(%s): Raw heap creation fail", __func__);
  101.         mRawHeap.clear();
  102.         return UNKNOWN_ERROR;
  103.     }
  104.     sp<MemoryHeapBase> JpegHeap;
  105.     sp<MemoryHeapBase> PostviewHeap;
  106.     sp<MemoryHeapBase> ThumbnailHeap;
  107.     sp<MemoryBase> buffer = new MemoryBase(mRawHeap, 0, picture_size + 8);
  108. //主要是將raw data照片原始資料通過encode成jpeg的格式
  109.     if ((mMsgEnabled & CAMERA_MSG_RAW_IMAGE)&&(mSecCamera->getJpegStreamPossible() != true)) {
  110.         LOG_TIME_DEFINE(1)
  111.         LOG_TIME_START(1)
  112.      JpegHeap = new MemoryHeapBase(jpeg_heap_size);
  113.          PostviewHeap = new MemoryHeapBase(picture_size);
  114.         ThumbnailHeap = new MemoryHeapBase(thumb_size);    
  115.         // Modified the shutter sound timing for Jpeg capture
  116.         mSecCamera->startSnapshot();
  117.         if (mMsgEnabled & CAMERA_MSG_SHUTTER) {
  118.             //回撥shuttcallback的介面
  119.             mNotifyCb(CAMERA_MSG_SHUTTER, 0, 0, mCallbackCookie);
  120.         }
  121.         if(mSecCamera->getJpegStreamPossible() != true){
  122.             if (mSecCamera->getSnapshotAndJpeg((unsigned char*)PostviewHeap->base(),
  123.                     (unsigned char*)JpegHeap->base(), &jpeg_size) < 0) {
  124.                 LOGE("ERR(%s):Fail on SecCamera->getSnapshotAndJpeg()", __func__);
  125.                 mStateLock.lock();
  126.                 mCaptureInProgress = false;
  127.                 mStateLock.unlock();
  128.                 return UNKNOWN_ERROR;
  129.             }
  130.         }
  131.     }
  132.     int JpegImageSize = 10000, JpegExifSize;
  133.     bool isLSISensor = false;
  134.      JpegImageSize = static_cast<int>(jpeg_size);
  135.     CropScaleYUY2((char *)PostviewHeap->base(), picture_width, picture_height, 0, 0,
  136.                   (char *)ThumbnailHeap->base(), thumb_width, thumb_height);
  137.     memcpy(mRawHeap->base(),PostviewHeap->base(), picture_size);
  138. }
  139.     memcpy(static_cast<unsigned char*>(mPreviewHeap->base()) + offset + (previewWidth*previewHeight * 3 / 2),
  140.             overlay_header, mSizeOfADDRS);
  141.     ret = mOverlay->queueBuffer((void*)(static_cast<unsigned char *>(mPreviewHeap->base()) + offset +
  142.                                 (previewWidth * previewHeight * 3 / 2)));
  143.     if ((mMsgEnabled & CAMERA_MSG_COMPRESSED_IMAGE) &&(mSecCamera->getJpegStreamPossible() != true)) {
  144.         sp<MemoryHeapBase> ExifHeap = new MemoryHeapBase(EXIF_FILE_SIZE + picture_size);
  145.      if (mMsgEnabled & CAMERA_MSG_RAW_IMAGE)    
  146.          mDataCb(CAMERA_MSG_RAW_IMAGE, buffer, mCallbackCookie);
  147.             JpegExifSize = mSecCamera->getExif((unsigned char *)ExifHeap->base(),
  148.                     (unsigned char *)ThumbnailHeap->base());
  149.         LOGW("JpegExifSize=%d", JpegExifSize);
  150.             unsigned char *ExifStart = (unsigned char *)JpegHeap->base() + 2;
  151.             unsigned char *ImageStart = ExifStart + JpegExifSize;
  152.             memmove(ImageStart, ExifStart, JpegImageSize - 2);
  153.             memcpy(ExifStart, ExifHeap->base(), JpegExifSize);
  154.         sp<MemoryBase> mem = new MemoryBase(JpegHeap, 0, JpegImageSize + JpegExifSize);
  155.         //壓縮格式照片訊息
  156.         mDataCb(CAMERA_MSG_COMPRESSED_IMAGE, mem, mCallbackCookie);
  157.     }
  158. }
  159. 現在我們來看下在hal定義的三個回撥函式
  160. typedef void (*notify_callback)(int32_t msgType, //用於處理一些通知的訊息，如快門
  161.                                 int32_t ext1,
  162.                                 int32_t ext2,
  163.                                 void* user);
  164. typedef void (*data_callback)(int32_t msgType, // 返回通過camera得到的raw data
  165.                               const sp<IMemory>& dataPtr,
  166.                               void* user);
  167. // 返回通過camera得到的raw data並且攜帶時間戳
  168. typedef void (*data_callback_timestamp)(nsecs_t timestamp,
  169.                                         int32_t msgType,
  170.                                         const sp<IMemory>& dataPtr,
  171.                                         void* user);
  172. 介面如下：
  173. /** Set the notification and data callbacks */
  174. virtual void setCallbacks(notify_callback notify_cb,
  175.                           data_callback data_cb,
  176.                           data_callback_timestamp data_cb_timestamp,
  177.                           void* user) = 0;
  178. 現在又返回到cameraService是如何處理hal發過來的訊息
  179. void CameraService::Client::notifyCallback(int32_t msgType, int32_t ext1,
  180.         int32_t ext2, void* user) {
  181.     LOG2("notifyCallback(%d)", msgType);
  182.     sp<Client> client = getClientFromCookie(user);
  183.     if (client == 0) return;
  184.     if (!client->lockIfMessageWanted(msgType)) return;
  185.     switch (msgType) {//接收到的Hal層訊息
  186.         case CAMERA_MSG_SHUTTER:
  187.             // ext1 is the dimension of the yuv picture.
  188.             client->handleShutter((image_rect_type *)ext1);
  189.             break;
  190.         default:
  191.             client->handleGenericNotify(msgType, ext1, ext2);
  192.             break;
  193.     }
  194. }
  195. void CameraService::Client::dataCallback(int32_t msgType,
  196.         const sp<IMemory>& dataPtr, void* user) {
  197.     LOG2("dataCallback(%d)", msgType);
  198.     sp<Client> client = getClientFromCookie(user);
  199.     if (client == 0) return;
  200.     if (!client->lockIfMessageWanted(msgType)) return;
  201.     if (dataPtr == 0) {
  202.         LOGE("Null data returned in data callback");
  203.         client->handleGenericNotify(CAMERA_MSG_ERROR, UNKNOWN_ERROR, 0);
  204.         return;
  205.     }
  206.     switch (msgType) {
  207.         case CAMERA_MSG_PREVIEW_FRAME:
  208.             client->handlePreviewData(dataPtr);
  209.             break;
  210.         case CAMERA_MSG_POSTVIEW_FRAME:
  211.             client->handlePostview(dataPtr);
  212.             break;
  213.         case CAMERA_MSG_RAW_IMAGE:
  214.             client->handleRawPicture(dataPtr);
  215.             break;
  216.         case CAMERA_MSG_COMPRESSED_IMAGE:
  217.             client->handleCompressedPicture(dataPtr);
  218.             break;
  219.         default:
  220.             client->handleGenericData(msgType, dataPtr);
  221.             break;
  222.     }
  223. }
  224. // picture callback - compressed picture ready
  225. void CameraService::Client::handleCompressedPicture(const sp<IMemory>& mem) {
  226.     disableMsgType(CAMERA_MSG_COMPRESSED_IMAGE);
  227.     sp<ICameraClient> c = mCameraClient;
  228.     mLock.unlock();
  229. if (c != 0) {
  230. //回撥函式
  231.         c->dataCallback(CAMERA_MSG_COMPRESSED_IMAGE, mem);
  232.     }
  233. }
  234. 回到frameworks/base/core/java/android/hardware/camera.java 處理訊息
  235. @Override
  236.         public void handleMessage(Message msg) {
  237.             switch(msg.what) {
  238.             case CAMERA_MSG_SHUTTER:
  239.                 if (mShutterCallback != null) {
  240.                     mShutterCallback.onShutter();
  241.                 }
  242.                 return;
  243.             ………………
  244.             case CAMERA_MSG_COMPRESSED_IMAGE:
  245.                 if (mJpegCallback != null) {
  246.                     //現在總算回到app時候註冊的幾個回撥函數了
  247.                     mJpegCallback.onPictureTaken((byte[])msg.obj, mCamera);
  248.                 }
  249.                 return;
  250.             default:
  251.                 Log.e(TAG, "Unknown message type " + msg.what);
  252.                 return;
  253.             }
  254.         }
  255. //這裡就是儲存資料的地方了，這裡採用file的形式
  256. private int storeImage(byte[] data, Location loc) {
  257.             try {
  258.                 long dateTaken = System.currentTimeMillis();
  259.                 String title = createName(dateTaken);
  260.                 String filename = title + ".jpg";
  261.                 int[] degree = new int[1];
  262.                 mLastContentUri = ImageManager.addImage(
  263.                         mContentResolver,
  264.                         title,
  265.                         dateTaken,
  266.                         loc, // location from gps/network
  267.                         ImageManager.CAMERA_IMAGE_BUCKET_NAME, filename,
  268.                         null, data,
  269.                         degree);
  270.                 return degree[0];
  271.             } catch (Exception ex) {
  272.                 Log.e(TAG, "Exception while compressing image.", ex);
  273.                 return 0;
  274.             }
  275.         }

相關推薦

android下camera資料流的分析

首先從上層講解下來Packages/apps/camera/src/com/android/camera/camera.javaprivate void capture() {            mCaptureOnlyData = null;            // See android.hard

Android Camera資料流分析全程記錄（overlay方式二）

Android Camera資料流分析全程記錄（overlay方式） 這篇文章接著上一篇文章繼續：http://blog.chinaunix.net/uid-26765074-id-3568436.html 上一篇文章overlay這個過程已經走了一遍，但是根

Android4.4 Camera 資料流分析

開門見山： 這裡給出rk 在cameraHAL層的camera資料結構： typedef struct FramInfo { int phy_addr; int vir_addr; int frame_width; int f

Android Audio 系統框架資料流分析

    ----------前言      今天是感恩節，突然意識到2014年又接近尾聲了，歲月匆匆，白駒過隙，恍然間覺得，時間在鍵盤敲打的節奏裡一去不復返了; 在這似水流年裡，每天忙於工作，一年下來，自己都忙了些什麼，不禁暗自喟嘆，時間都去哪兒了；為了給時間貼個標籤，開始

android sensor 框架分析---sensor資料流分析

5,sensor資料流分析 前面幾章做了很多準備和鋪墊,這章終於可以分析sensor資料的傳輸流程了。主要步驟如下, 1,服務端通過HAL從驅動檔案節點中獲取sensor資料。 2,服務端通過管道傳送資料。 3,客戶端通過管道讀取資料。 4,客戶端吐出資料。 5.1服務端獲

[Android]高效能MMKV資料互動分析-MMKV初始化

大家好，我係蒼王。 以下是我這個系列的相關文章，有興趣可以參考一下，可以給個喜歡或者關注我的文章。 [Android]如何做一個崩潰率少於千分之三噶應用app--章節列表 元件化群1已經滿員，進來的可以加群2 763094035 MMKV框架初始化 MMKV.initiali

FortiGate資料流分析 debug flow

1.工具說明 　　在防火牆部署中，經常會遇到防火牆接收到了資料包，但並未進行轉發。可以通過diagnose debug flow 命令來對資料包的處理過程進行跟蹤，可以清晰檢視資料包再各個功能模組內的處理過程，判斷出資料包如何被轉發或者丟棄。 2.命令介紹 　　diagnose debug enable

android下建立資料夾和修改其許可權的方法

    /**     * File creation mode: the default mode, where the created file can only     * be accessed by the calling application (or all applications shari

linux_sound_alsa_ALSA體系SOC子系統中資料流分析

前言：     linux中，無論是oss還是alsa體系，錄音和放音的資料流必須分析清楚。先分析alsa驅動層，然後關聯到alsa庫層和應用層。 連結分析：     core/pcm_native.c檔案中.mmap = snd_pcm_mmap呼叫snd_pcm_mma

網路資料流分析(四層網路結構)

本文內容不全，分析其中包含部分結構內容資訊 資料鏈路層結構（Ethernet II）總位元組數為14Byte：    目的mac：6 Byte        源mac：6 Byte    Type：2 Byte 對於Ipv6 的Type ：ox86dd  IP 層： 資

汽車資料流分析常採用哪些方法?

對汽車資料流分析診斷故障，常採用以下5種方法： 　　(1)數值分析法； 　　(2)時間分析法； 　　(3)因果分析法； 　　(4)關聯分析法； 　　(5)比較分析法。 　　資料分析法是怎樣進行汽車動態資料流分析的? 　　數值分析是對資料的數值變化規律和數值變化範圍的分析，即數值的變化，如轉速、車速、電腦讀值和

靜態分析之資料流分析與 SSA 入門 （二）

什麼是靜態單賦值 SSA SSA 是 static single assignment 的縮寫，也就是靜態單賦值形式。顧名思義，就是每個變數只有唯一的賦值。 以下圖為例，左圖是原始程式碼，裡面有分支， y 變數在不同路徑中有不同賦值，最後列印 y 的值。右圖是等價的 SS

JS下視訊資料耗時分析

最近在做視訊圖層繪製時，用JS讀取DLL庫中回撥資料時，遇到一個繪製視訊資料存在延時嚴重的現象，約有1s左右。 大致過程為如下 function(data,width,height,length){ var m_ImageSt = new Date

在Android下建立資料夾

<!-- @page { margin: 2cm } PRE { font-family: "DejaVu Sans" } P { margin-bottom: 0.21cm } --> 由於工作的需要，今天研究了在androi

【Android】TVL資料流解析

tlv資料格式：type（1位元組）+length（2位元組）+value（有效資料）； 長度規定（雙方規定的）：{低位、高位}   ，例：{(byte)0x5A,(byte)0x00} 轉成int = 0x005A = 90 ； package com.example.

Android系統Camera錄影過程分析

  首先，通過圖示、看看Android系統Camera錄影時的呼叫時序： 1.錄影命令時序 2.錄影資料回撥時序 一、應用部分 1.主Activity啟動 packages/apps/Camera/src/com/android/camera/CameraActivity.ja

基於Hi3559AV100 RFCN實現細節解析-（2）RFCN資料流分析

　　下面隨筆系列將對Hi3559AV100 RFCN實現細節進行解析，整個過程涉及到VI、VDEC、VPSS、VGS、VO、NNIE，其中涉及的內容，大家可以參考之前我寫的部落格： Hi3559AV100的VI細節處理說明： https://www.cnblogs.com/iFrank/p/14374658.

Hi3559AV100 NNIE開發（6）RFCN中NNIE實現關鍵執行緒函式->SAMPLE_SVP_NNIE_Rfcn_ViToVo()進行資料流分析

　　前面隨筆給出了NNIE開發的基本知識，下面幾篇隨筆將著重於Mobilefacenet NNIE開發，實現mobilefacenet.wk的chip版本，並在Hi3559AV100上實現mobilefacenet網路功能，外接USB攝像頭通過MPP平臺輸出至VO HDMI顯示結果。下文是Hi3559AV10

android平臺下基於ffmpeg採集Camera資料編碼成H.264推流到RTMP伺服器

音視訊實踐學習 android全平臺編譯ffmpeg以及x264與fdk-aac實踐 ubuntu下使用nginx和nginx-rtmp-module配置直播推流伺服器 android全平臺編譯ffmpeg合併為單個庫實踐 android-studio使用c

Android 5.0 Camera系統原始碼分析(4)：Camera預覽流程資料流

1. 前言 上一篇講了怎麼讓Camera進入預覽模式，提到了DisplayClient負責顯示影象資料，而CamAdapter負責提供影象資料，這裡主要記錄了CamAdapter怎麼獲取影象，然後DisplayClient怎麼將影象顯示在螢幕上。 2.