2. 程式人生 > >android camera2 應用以及實時濾鏡

android camera2 應用以及實時濾鏡

阿新 • • 發佈：2019-02-12

之前一直用android camera，但現在市面上新出的手機都是支援camera2的，專案要求也是運用camera2，於是自己學習了下，將一些知識點羅列出來，以供複習和大家參考。
一、camera2的預覽拍照流程
1、獲取相機manager，利用manager獲得相機ID列表（通過ID選擇開啟的相機）

   private void getCameraIdList ()  {
    CameraManager manager = (CameraManager) mContext.getSystemService(Context
            .CAMERA_SERVICE);
    try
 
 {
        mCameraIDList  = manager.getCameraIdList();
    } catch (CameraAccessException e) {
        e.printStackTrace();
    }
    mCameraID = mCameraIDList[0];
    }

上面的函式是將相機的id列表存在mCameraIDlist連結串列內。
2、通過相機的ID和manager我們就可以獲得對應的id的相機的內部引數，如：

 mCameraCharacteristics = manager.getCameraCharacteristics(mCameraID);

通過這個mCameraCharacteristics 我們可以獲取預覽需要的基本引數預覽size 和 角度
（1）用來得到相機支援預覽的size，從而來設定相機預覽的控制元件大小和拍照圖片大小。

//配置引數map
            StreamConfigurationMap map = mCameraCharacteristics.get(CameraCharacteristics
                    .SCALER_STREAM_CONFIGURATION_MAP);
                    //獲取相機支援的size
               Size size[] =  map.getOutputSizes
 
(ImageFormat.JPEG)

（2）獲取當前手相機（surface的角度），下面的方法是根據相機預覽角度和相機的預覽角度獲取當前的傾斜角度，要想預覽和成像的圖片角度一致，相機角度和窗體角度得一致。

   private int getRotateDegree(CameraCharacteristics characteristics) {
        WindowManager wm = (WindowManager) getContext().getSystemService(Context.WINDOW_SERVICE);
        int displayRotation = wm.getDefaultDisplay().getRotation();
        int degrees = 0;
        switch (displayRotation) {
            case Surface.ROTATION_0:
                degrees = 0;
                break;
            case Surface.ROTATION_90:
                degrees = 90;
                break;
            case Surface.ROTATION_180:
                degrees = 180;
                break;
            case Surface.ROTATION_270:
                degrees = 270;
                break;
        }
//獲取相機取景的角度（相對於正常豎直角度）（相機確定了，這個值也是固定的（待驗證））
        int senseOrientation = characteristics.get(CameraCharacteristics.SENSOR_ORIENTATION);
        return   (senseOrientation - degrees + 360) % 360;
    }

google的官方文件給出的demo中就利用相機的角度和視窗的角度和大小來選擇最合適的預覽size，大家可以去參考下。
（3）初始化imageReader，這個類是拍照時候獲取圖片用的，預覽size確定了，我們可以初始化它了。

 mImageReader = ImageReader.newInstance(mPreViewSize.getWidth(), mPreViewSize.getHeight(),
                    ImageFormat.JPEG, 2);

下面則是設定獲取圖片成功的回撥方法：

 mImageReader.setOnImageAvailableListener(onImageAvailableListener, null);

當然這裡的listener是拍照後，獲取圖片的時候回撥的方法。
3、開啟相機
開啟相機則是通過前面獲取的manager和相機id來開啟相應的相機

 manager.openCamera(mCameraID, cameraOpenCallBack, null);

對應的方法的原型為

   public void openCamera(@NonNull String cameraId,
            @NonNull final CameraDevice.StateCallback callback, @Nullable Handler handler)

相機id 和開啟的回撥方法必須不為空，後面1個可為空。在相機成功開啟後我們才能進行相應的操作。
注意：同一時間只能對同一個相機開啟，為了防止我們頻繁切換攝像頭或者不停的停止和開啟相機預覽時出現錯誤，一般都會設定一個相機鎖，這裡可以自己google，這裡不再詳述了。
4、相機開啟後，建立預覽引數類Builder
上面開啟相機的回撥cameraOpenCallBack中來建立builder，通過builder可以設定我們預覽時的各種引數。新增預覽的介面（target，預覽時候新增textureView的surface，而拍照時候用imageReader的surface），並建立captureSession,並在回撥中建立CameraCaptureSession，這個是預覽會話，我們最終都是利用這個來控制預覽的，因此只有會話配置成功了就可以進行預覽了。

 private CameraDevice.StateCallback cameraOpenCallBack = new CameraDevice.StateCallback() {
        @Override
        public void onOpened(CameraDevice camera) {
            Log.d(TAG, "相機已經開啟");
            try {
                mCameraDevice = camera;
                mPreViewBuilder = camera.createCaptureRequest(CameraDevice.TEMPLATE_PREVIEW);
                SurfaceTexture texture = getSurfaceTexture();//new SurfaceTexture(2);//
                texture.setDefaultBufferSize(mPreViewSize.getWidth(), mPreViewSize.getHeight());
                mSurface = new Surface(getSurfaceTexture());
                mPreViewBuilder.addTarget(mSurface);
                mCaptureSession = camera.createCaptureSession(Arrays.asList(mSurface, mImageReader.getSurface
                        ()), mSessionStateCallBack, null);
            } catch (CameraAccessException e) {
                Log.d(TAG, "相機建立session失敗");
                e.printStackTrace();
            }
        }

        @Override
        public void onDisconnected(CameraDevice camera) {

        }

        @Override
        public void onError(CameraDevice camera, int error) {

        }
    };

5 、 會話預覽建立後，開啟預覽

   private CameraCaptureSession.StateCallback mSessionStateCallBack = new CameraCaptureSession.StateCallback() {

        @Override
        public void onConfigured(CameraCaptureSession session) {
                Log.d(TAG, "onConfigured......");
                mCameraSession = session;
                mPreViewBuilder.set(CaptureRequest.CONTROL_AF_MODE,
                        CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
            rePreView();
            cameraLock = false;
        }

        @Override
        public void onConfigureFailed(CameraCaptureSession session) {

        }
    };

6、給Builder設定引數，並開啟預覽
其實通過上述基礎設定就可以直接呼叫 mCaptureSession .setRepeatingRequest進行預覽了，camera2很強大，我們得好好利用：
(1) 對焦
<1> 自動對焦

 mPreViewBuilder.set(CaptureRequest.CONTROL_AF_MODE, CaptureRequest.CONTROL_AF_MODE_CONTINUOUS_PICTURE);
<2> 人臉聚焦

人臉聚焦，其實就是在預覽的時候，利用相機預覽介面中對人臉的定位，然後重新預覽，設定聚焦區域
其實和第三者聚焦方法是相同的，對特定區域聚焦。

 private CameraCaptureSession.CaptureCallback captureCallback = new CameraCaptureSession.CaptureCallback() {
        @Override
        public void onCaptureCompleted(CameraCaptureSession session, CaptureRequest request, TotalCaptureResult result) {
            super.onCaptureCompleted(session, request, result);
            process(result);

        }

        @Override
        public void onCaptureProgressed(CameraCaptureSession session, CaptureRequest request, CaptureResult partialResult) {
            super.onCaptureProgressed(session, request, partialResult);
        }

        private void process(CaptureResult result) {
            Face[] camera_faces = result.get(CaptureResult.STATISTICS_FACES);
            if (camera_faces != null) {
                if (camera_faces.length > 0) {
                    focusState = FOCUS_FACE_STATE;
                    faceRect = new Rect(camera_faces[0].getBounds().left, camera_faces[0].getBounds().top, camera_faces[0].getBounds().right, camera_faces[0].getBounds().bottom);
                    System.out.println("lammy  faces" + camera_faces.length );
                    startPreview(new MeteringRectangle(faceRect, MeteringRectangle.METERING_WEIGHT_MAX));
                }
            }

        }
    };

這裡startPreview方法中是對制定位置聚焦，其實主要是在重新預覽的時候builder設定了引數

            mPreViewBuilder.set(CaptureRequest.CONTROL_AF_REGIONS, new MeteringRectangle[]{rect});
            mPreViewBuilder.set(CaptureRequest.CONTROL_AE_REGIONS, new MeteringRectangle[]{rect});

<3>手指點選聚焦
其實手指點選聚焦同第二種方式一樣，對特定地區進行聚焦，這裡也不再詳述了。

(2) 閃光燈

閃光燈分2種，一種是手電筒模式，一種是拍照模式，現在分別介紹一下：

（1）手電筒

 //關閉模式
 mPreViewBuilder.set(CaptureRequest.FLASH_MODE, CameraMetadata.FLASH_MODE_OFF);
 // 閃一下模式               
 mPreViewBuilder.set(CaptureRequest.FLASH_MODE, CameraMetadata.FLASH_MODE_SINGLE);
 //長亮模式
 mPreViewBuilder.set(CaptureRequest.FLASH_MODE, CameraMetadata.FLASH_MODE_TORCH);

（2）拍照

//自動曝光
mPreViewBuilder.set(CaptureRequest.CONTROL_AE_MODE, CameraMetadata.CONTROL_AE_MODE_ON_AUTO_FLASH); 
// 強制曝光
mPreViewBuilder.set(CaptureRequest.CONTROL_AE_MODE,CameraMetadata.CONTROL_AE_MODE_ON_ALWAYS_FLASH);
//不閃光
mPreViewBuilder.set(CaptureRequest.CONTROL_AE_MODE,CameraMetadata.CONTROL_AE_MODE_ON_AUTO_FLASH_REDEYE);

閃光燈對部分手機相容性不是很好，特別是自動曝光，很多手機無效，拍照時候可以利用手電筒開啟閃光燈，拍照完畢後會關閉,當然這隻適合閃光等開關，不適合自動曝光。

7、拍照
下面是為了相容各個版本手機，特別摩托羅拉的幾款手機，閃光燈先開啟或者設定好開預覽，然後馬上拍照。這樣閃光燈可以正常使用，但部分手機的自動曝光失效了，希望知道的老鐵們，告訴小弟，如何適配或者解決自動曝光失效的問題：

  public void takePhoto(final boolean isStopPreview ,final String savePath)
    {
        if(mCameraSession == null)
            return;


        LogUtil.e("takePhoto" , "takePhoto,...............");
        this.savePath = savePath;
        try {
           if(mFlashMode == FLASH_SINGLE) {
               mPreViewBuilder.set(CaptureRequest.FLASH_MODE, CaptureRequest.FLASH_MODE_TORCH);
           }
            // 閃光燈的幾種形式，但不同的手機不一樣，通常只能生效的就是長亮 FLASH_MODE_TORCH
//            captureBuilder.set(CaptureRequest.FLASH_MODE, CaptureRequest.FLASH_MODE_SINGLE);
//              captureBuilder.set(CaptureRequest.FLASH_MODE, CaptureRequest.FLASH_MODE_TORCH);
//            captureBuilder.set(CaptureRequest.FLASH_MODE, CaptureRequest.FLASH_MODE_OFF);

//            captureBuilder.set(CaptureRequest.CONTROL_AE_MODE, CaptureRequest.CONTROL_AE_MODE_ON_AUTO_FLASH_REDEYE);
//            captureBuilder.set(CaptureRequest.CONTROL_AE_MODE,CaptureRequest.CONTROL_AE_MODE_ON_ALWAYS_FLASH);
//            captureBuilder.set(CaptureRequest.CONTROL_AE_MODE, CaptureRequest.CONTROL_AE_MODE_ON_AUTO_FLASH);

            mCameraSession.capture(mPreViewBuilder.build(), new CameraCaptureSession.CaptureCallback() {
                @Override
                public void onCaptureCompleted(@NonNull CameraCaptureSession session, @NonNull CaptureRequest request, @NonNull TotalCaptureResult result) {
                    if(isStopPreview) {
                        isPreview = false;
                    }
                   savePhoto(savePath + System.currentTimeMillis()+".jpg");
                    if(mFlashMode == FLASH_SINGLE) {
                        closeFlash();
                    }
                }
            }, null);

            mCameraSession.stopRepeating();

        } catch (CameraAccessException e) {
            e.printStackTrace();
        }


    }

拍照時候target為imageReader，因此拍照完畢後就會出發imageReader之前註冊的listener，然後再裡面儲存照片等一些操作

 private ImageReader.OnImageAvailableListener onImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {          
            try {
                Image img = reader.acquireLatestImage();
                ByteBuffer buffer = img.getPlanes()[0].getBuffer();
                byte[] buff = new byte[buffer.remaining()];
                buffer.get(buff);
                final Bitmap bitmap = BitmapFactory.decodeByteArray(buff, 0, buff.length);

                long t1 = System.currentTimeMillis();

                Matrix matrix = new Matrix();
                if(mCameraDevice.getId().equals( 0+""))
                    matrix.postRotate(90);
                if(mCameraDevice.getId().equals( 1+""))
                   matrix.postRotate(-90);
                Bitmap bitmap2 = Bitmap.createBitmap(bitmap, 0, 0, bitmap.getWidth(), bitmap.getHeight(), matrix, false);


                if (takeCaptureCallback != null) {
                    takeCaptureCallback.takeCaptureSuccess(bitmap2);
                }
                bitmap.recycle();
               final File f = new File(getContext().getExternalFilesDir(null).getAbsolutePath() + "print/" + UUID.randomUUID().toString() + ".jpg");

                 saveBitmapToSD(bitmap , f.getAbsolutePath());

            } catch (Exception e) {

            } finally {
                if (reader != null) {
                    reader.close();
                }
            }
        }
    };

獲取資料,實時預覽

下面講下如何獲取相機的實時資料，這裡是通過imageReader來獲取,然後在surfaceView上繪製,大家看下面程式碼應該就明白了,如果不明白也歡迎大家留言.

 private ImageReader.OnImageAvailableListener onPreViewImageAvailableListener = new ImageReader.OnImageAvailableListener() {
        @Override
        public void onImageAvailable(ImageReader reader) {
        /**   獲得相機資料YUV420   */
            Image mImage = reader.acquireLatestImage();
            if(mImage == null) {
                Log.e(TAG, "onImageAvailable .............mImage == null");
                return;
            }
//            Log.e(TAG, "onImageAvailable ............. start");

            /**   YUV420 轉位mat ,然後用opencv轉rgb   */
            Mat mYuvMat = BitmapUtil.imageToMat(mImage);
            Mat rgbMat = new Mat(mImage.getHeight(), mImage.getWidth(), CvType.CV_8UC3);
            Imgproc.cvtColor(mYuvMat, rgbMat, Imgproc.COLOR_YUV2RGB_I420);
            /*************************更新drawBitmap,再繪製,可以達到實時濾鏡*********************/
            if(drawBitmap == null)
            {
                drawBitmap = Bitmap.createBitmap(rgbMat.width(), rgbMat.height(), Bitmap.Config.ARGB_8888);
            }

            if (isTransfer) {
                Imgproc.cvtColor(rgbMat, rgbMat, Imgproc.COLOR_RGB2GRAY);
                Utils.matToBitmap(rgbMat, drawBitmap);
            }else {
                Utils.matToBitmap(rgbMat, drawBitmap);
            }

            /*****************************更新face state***********************/
            //在changeCamera的時候切換狀態，一面繪圖時，最後一幀的時候因為cameraFace 錯誤，看到切換前一幀 運用到切換後camera的狀態
            if(mCameraID.equals(mCameraIDList[0])) {
                cameraFace = FACE_BACK;
            }
            else{
                cameraFace = FACE_FRONT;
            }
//
            /*****************************拍照狀態，儲存圖片***********************/
                // 連拍的功能,
                if(isMultipleTakePhoto && saveNumber < takeNumber){
                    Log.e(TAG, "onImageAvailable .............take some  photos");
                    savePhoto(savePath + "lammy" + System.currentTimeMillis() + ".jpg");
                    saveNumber ++;
                    if(saveNumber >= takeNumber){
                        if(mCameraSession != null && isStopPreview){
                            try {
                                mCameraSession.stopRepeating();
                            } catch (CameraAccessException e) {
                                e.printStackTrace();
                            }
                        }
                        isStopPreview = false;
                        saveNumber = 0;
                        isMultipleTakePhoto = false;
                    }
                }

//            Log.e(TAG, "onImageAvailable .............end");
            mImage.close();



            if (reader != null) {
//                    reader.close();
            }

        }
    };

相關推薦

android camera2 應用以及實時濾鏡

之前一直用android camera，但現在市面上新出的手機都是支援camera2的，專案要求也是運用camera2，於是自己學習了下，將一些知識點羅列出來，以供複習和大家參考。 一、camera2的預覽拍照流程 1、獲取相機manager，利用mana

Android Camera2 Opengles2.0 實時濾鏡（冷暖色/放大鏡/模糊/美顏）

https://blog.csdn.net/keen_zuxwang/article/details/78363464 demo: http://download.csdn.net/download/keen_zuxwang/10041423 1、建立頂點位置、紋理陣列 2、建立、編譯、載入shader程

Android平臺Camera實時濾鏡實現方法探討(十)--代碼地址以及簡單介紹（20160118更新）

div iss 將在 spa 方法 target 用途 net dsm 簡單做了個相機和圖片編輯模塊，時間原因非常多功能還沒有做。尚有BUG，見諒，將在以後抽時間改動 代碼地址 PS：請點個Star^-^ -----------------------

Android Camera2 Opengles2.0 影象實時濾鏡 顯示 視訊編碼

在博文”Android Camera2 Opengles2.0 預覽影象實時濾鏡 視訊編碼” http://blog.csdn.net/keen_zuxwang/article/details/78366598 的基礎上新增FBO實時濾鏡、回撥顯示—其中

Android用CameraApi實現相機開發以及用opengl es實現相機實時濾鏡

對相機開發一直很感興趣，最近研究了一下自定義相機以及實時濾鏡的實現，寫了個簡單的demo，專案地址,有些地方寫的比較粗糙，但大體功能基本都實現了。大體分為三塊。 1 利用CameraApi實現自定義相機 在camera包路徑下，大體思路就是自定義一個su

Android平臺Camera實時濾鏡實現方法探討(十)--程式碼地址以及簡介（20160118更新）

簡單做了個相機和圖片編輯模組，時間原因很多功能還沒有做，尚有BUG，見諒，將在以後抽時間修改 程式碼地址 PS：請點個Star^-^ ---------------------------------------------------------------------

Android平臺Camera實時濾鏡實現方法探討(十一)--實時美顏濾鏡

.net 兩個 其它 強人 突出 pad eight 地址 模式 上一章完畢了對圖片的磨皮處理。經過簡單算法流程優化，能夠達到非常快的速度。可是不能用於實時美顏。經實驗，若採用僅僅處理Y信號的方案。半徑極限大約是5-10，超過10則明顯感受到卡頓。但對於1920X1

android全功能音樂播放器、基於MVP-Clean + Weex + RxJava2 + Retrofit + Dagger2 + MTRVA的綜合應用、圖片濾鏡處理等原始碼

Android仿微信朋友圈檢視圖片下拽返回。 Android圖片濾鏡處理，相機濾鏡處理效果原始碼 Android自定義View原始碼：一個水平的進度條 基於MVP-Clean + Weex + RxJava2 + Retrofit + Dagger2 + M

Android平臺Camera實時濾鏡實現方法探討(六)--建立幀快取物件(FBO)加速實時濾鏡處理

上一章探討了如何採用SurfaceTexture+GLSurfaceView顯示YUV資料，減少了片段著色器的工作量和程式碼量，但是採用GLSL採用的外部紋理真正的內容是在實體記憶體中，GPU只負責維護元資料，這樣就增加了GPU取資料的時間，若進行一些運算密集的演算法例如高

【Camera】Android平臺Camera實時濾鏡實現方法

2016-01-18 16:39 閱讀(5116) 評論(19) 2016-01-18 13:13 閱讀(7714) 評論(7) 2016-01-08 19:48 閱讀(3428) 評論(8) 2015-12-29 13:07 閱

Android Camera 實時濾鏡（四）

基於Android平臺PS特效的自定義演算法的實現 Created with Raphaël 2.1.2開始影象Bitmap獲取畫素getPixelsPS演算法 修改畫素點Color.red/green/blue濾鏡影象結束 在ARGB顏色空間，分別

Android 實時濾鏡 高斯模糊（帶原始碼）

最近在做一個這樣一個需求，一個控制元件可以實時預覽攝像頭的內容，並且對此影象進行高斯模糊處理，現在來記錄一下。  基本的實現思路 1，攝像頭實時預覽的資料會回撥給onPreviewFrame(byte[] data, Camera camera) ，通過這個獲取YU

Android平臺Camera實時濾鏡實現方法探討(二)--Android-GPUImage探討

本章介紹android-gpuimage實現方式，即通過在C++層實現YUV-RGB轉換，通過OpenGL繪製，通過片段著色器執行Shader指令碼實現影象處理，雖然將濾鏡的一些處理交給GPU來執行，極大的減少了速度，但YUV-RGB過程卻拖了後腿。本章將從YUV、GLSL

Android平臺Camera實時濾鏡實現方法探討(五)--GLSurfaceView實現Camera預覽

前面有一篇探討了如何在片段著色器中將YUV資料轉換為RGB資料並顯示，但採用samplerExternalOES將SurfaceTexture作為OpenGL外部紋理，需要使用GL_TEXTURE_EXTERNAL_OES作為紋理模板，通過SetPreviewTexture

Android Camera 實時濾鏡（三）

一、基於Android平臺基本濾鏡演算法的實現 1、Android提供了改變影象數值的方法ColorMatrix，通過ColorMatrix方法可以實現基本濾鏡，如黑白、灰色、泛黃等效果。 2、通過ColorMatrix改變影象數值，生成變換矩陣，利用矩陣相乘，來改變每個

Android平臺Camera實時濾鏡實現方法探討(一)--JNI操作Bitmap

眾所周知，通過setPreviewHolder可以將預覽資料顯示在一個SurfaceView上，即可實現相機拍照時的預覽功能，通過新增各個控制元件和介面即可實現簡單相機應用，但如果需要對預覽畫面進行處理，例如類似美圖秀秀等相機APP的實時濾鏡功能，此種方案無法達到目的，需要

Android平臺Camera實時濾鏡實現方法探討(九)--磨皮演算法探討(一)

上一篇開頭提到了一些可用於磨皮的去噪演算法，下面我們實現這些演算法並且觀察效果，咱不考慮實時性的問題 該演算法利用影象區域性統計特性進行濾波處理，例如NXM畫素的灰度圖，首先計算點(i,j)所在視窗內（大小為(2n+1)(2m+1))的平均值m(i,j)

LearningAVFoundation之拍攝+實時濾鏡+實時寫入

前言 AVFoundation框架的功能十分強大，同時也充斥著各種類，比如各種session,各種input,各種output。之前並沒有對整個框架進行過完整梳理，雖然也能東拼西湊的那各種類完成需求，但遇到深度定製的需求以及踩到坑之後，總會比較吃力。最近，在看《learning AV Foundation》

使用GPUImage 實現利用GPU來實習濾鏡（實時濾鏡 和iphone手機一樣）

一：將GPUImage 新增到工程     兩篇資料 注意： 二：使用    a: 圖片使用濾鏡     GPUImageFilter *selectedFilter;     switch (buttonIndex) {         case 0:  

高德地圖元件在Android的應用以及Android與JavaScript的互動(一)

最近在慕課網學習了關於高德地圖元件的課程（其實就是一個廣告，內容和官網的API完全一樣），發現這個JavaScript API比Android API簡單方便多了，於是就打算放在Android APP上來實現，花了一點小功夫，但是最終還是實現了，後來打算擴充套件