2. 程式人生 > >FFmpeg(六) 播放視頻之GLSurfaceView顯示RGB數據

FFmpeg(六) 播放視頻之GLSurfaceView顯示RGB數據

阿新 • • 發佈：2018-11-26
原始的 runnable sws_scale 格式 send text 介紹 ttr start

一、播放視頻說明

　　1、兩種方式播放視頻

　　　　　　①shader播放YUV，後面再介紹。
　　　　　　②RGB直接顯示數據，簡單。性能差，用到FFmpeg的格式轉換，沒有shader效率高。本文介紹這個方式。
　　2.GLSurfaceView原理（雙緩沖機制）：

　　　　　　SurfaceHolder: getHolder().getSurface();
　　　　　　得到Surface，取出其中緩沖地址，寫入RGB數據。
　　3.新建一個java的XPlay組件，繼承與GLSurfaceView，並在xml中進行布局編寫。

　　4.調用native函數：public native void Open(String url,Object surface);

　　5.在C++中進行取出緩沖地址，將數據放到緩沖並發送出去進行顯示。

二、函數說明

　　1、需要的頭文件
　　　　　　#include <android/native_window.h>
　　　　　　#include <android/native_window_jni.h>
　　2.函數說明
　　　　　　ANativeWindow *nwin = ANativeWindow_fromSurface(env,surface);//env為JNIEnv *env ，surface為java傳過來的jobject surface 生成一個原始的窗口類
　　　　　　ANativeWindow_setBuffersGeometry(nwin,outWidth,outHeight,WINDOW_FORMAT_RGBA_8888); // 對原始的窗口類設置，設置寬高格式，不是surface的寬高，設置nativewindow的buff，可自動拉伸
　　　　　　ANativeWindow_Buffer wbuf;
　　　　　　//雙緩沖
　　　　　　ANativeWindow_lock(nwin,&wbuf,0); //加鎖、獲取nwin的緩沖到wbuf中，
　　　　　　uint8_t *dst = (uint8_t*)wbuf.bits; //緩沖地址，跟顯卡交互的， 地址是：內存地址
　　　　　　memcpy(dst,rgb,outWidth*outHeight*4); // 復制rgb到地址中，寬*高*4 ，rgb為像素轉換完成的數據
　　　　　　ANativeWindow_unlockAndPost(nwin); //解鎖並post出去

代碼說明：

1.新建XPlay

2.在布局文件layout中加入Xplay

3.C++代碼

layout的XML:

<?xml version="1.0" encoding="utf-8"?>
<android.support.constraint.ConstraintLayout xmlns:android="http://schemas.android.com/apk/res/android"
    xmlns:app="http://schemas.android.com/apk/res-auto"
    xmlns:tools="http://schemas.android.com/tools"
 

    android:layout_width="match_parent"
    android:layout_height="match_parent"
    tools:context="aplay.testffmpeg.MainActivity">

    <XPlay
        android:layout_width="match_parent"
        android:layout_height="match_parent" />

</android.support.constraint.ConstraintLayout>

Xplay代碼：

技術分享圖片 
import android.content.Context;
import android.opengl.GLSurfaceView;
import android.util.AttributeSet;
import android.view.SurfaceHolder;

public class XPlay extends GLSurfaceView implements Runnable,SurfaceHolder.Callback {

    public XPlay(Context context, AttributeSet attrs) {
        super( context,attrs );
    }

    @Override
    public void run() {
        //在線程中進行顯示，不阻礙
        Open("/sdcard/1080.mp4",getHolder().getSurface());
    }
    @Override
    public void surfaceCreated(SurfaceHolder var1){
        new Thread( this ).start();
    }

    @Override
    public void surfaceChanged(SurfaceHolder var1, int var2, int var3, int var4){

    }

    @Override
    public void surfaceDestroyed(SurfaceHolder var1){

    }
    public native void Open(String url,Object surface);
}
View Code

C++代碼

技術分享圖片 
/******************************************
     包含像素轉換和重采樣的代碼
*******************************************/
#include <jni.h>
#include <string>
#include <android/log.h>
#include <android/native_window.h>
#include <android/native_window_jni.h>
#define LOGW(...) __android_log_print(ANDROID_LOG_WARN,"testff",__VA_ARGS__)

extern "C"{
#include <libavcodec/avcodec.h>
#include <libavformat/avformat.h>
#include <libavcodec/jni.h>
#include <libswscale/swscale.h>
#include <libswresample/swresample.h>
}
#include<iostream>
using namespace std;

static double r2d(AVRational r)
{
    return r.num==0||r.den == 0 ? 0 :(double)r.num/(double)r.den;
}

//當前時間戳 clock
long long GetNowMs()
{
    struct timeval tv;
    gettimeofday(&tv,NULL);
    int sec = tv.tv_sec%360000;
    long long t = sec*1000+tv.tv_usec/1000;
    return t;
}
extern "C"
JNIEXPORT
jint JNI_OnLoad(JavaVM *vm,void *res)
{
    av_jni_set_java_vm(vm,0);
    return JNI_VERSION_1_4;
}

extern "C"
JNIEXPORT jstring
JNICALL
Java_aplay_testffmpeg_MainActivity_stringFromJNI(
        JNIEnv *env,
        jobject /* this */) {
    std::string hello = "Hello from C++ ";
    // TODO
    hello += avcodec_configuration();
    return env->NewStringUTF(hello.c_str());
}

extern "C"
JNIEXPORT void JNICALL
Java_aplay_testffmpeg_XPlay_Open(JNIEnv *env, jobject instance, jstring url_, jobject surface) {
    const char *path = env->GetStringUTFChars(url_, 0);

    //初始化解封裝
    av_register_all();
    //初始化網絡
    avformat_network_init();

    avcodec_register_all();

    //打開文件
    AVFormatContext *ic = NULL;
    //char path[] = "/sdcard/video.flv";
    int re = avformat_open_input(&ic,path,0,0);
    if(re != 0)
    {
        LOGW("avformat_open_input failed!:%s",av_err2str(re));
        return;
    }
    LOGW("avformat_open_input %s success!",path);
    //獲取流信息
    re = avformat_find_stream_info(ic,0);
    if(re != 0)
    {
        LOGW("avformat_find_stream_info failed!");
    }
    LOGW("duration = %lld nb_streams = %d",ic->duration,ic->nb_streams);

    int fps = 0;
    int videoStream = 0;
    int audioStream = 1;

    for(int i = 0; i < ic->nb_streams; i++)
    {
        AVStream *as = ic->streams[i];
        if(as->codecpar->codec_type == AVMEDIA_TYPE_VIDEO)
        {
            LOGW("視頻數據");
            videoStream = i;
            fps = r2d(as->avg_frame_rate);

            LOGW("fps = %d,width=%d height=%d codeid=%d pixformat=%d",fps,
                 as->codecpar->width,
                 as->codecpar->height,
                 as->codecpar->codec_id,
                 as->codecpar->format
            );
        }
        else if(as->codecpar->codec_type ==AVMEDIA_TYPE_AUDIO )
        {
            LOGW("音頻數據");
            audioStream = i;
            LOGW("sample_rate=%d channels=%d sample_format=%d",
                 as->codecpar->sample_rate,
                 as->codecpar->channels,
                 as->codecpar->format
            );
        }
    }
    //ic->streams[videoStream];
    //獲取音頻流信息
    audioStream = av_find_best_stream(ic,AVMEDIA_TYPE_AUDIO,-1,-1,NULL,0);
    LOGW("av_find_best_stream audioStream = %d",audioStream);
    //////////////////////////////////////////////////////////
    //打開視頻解碼器
    //軟解碼器
    AVCodec *codec = avcodec_find_decoder(ic->streams[videoStream]->codecpar->codec_id);
    //硬解碼
    codec = avcodec_find_decoder_by_name("h264_mediacodec");
    if(!codec)
    {
        LOGW("avcodec_find failed!");
        return;
    }
    //解碼器初始化
    AVCodecContext *vc = avcodec_alloc_context3(codec);
    avcodec_parameters_to_context(vc,ic->streams[videoStream]->codecpar);

    vc->thread_count = 8;
    //打開解碼器
    re = avcodec_open2(vc,0,0);
    //vc->time_base = ic->streams[videoStream]->time_base;
    LOGW("vc timebase = %d/ %d",vc->time_base.num,vc->time_base.den);
    if(re != 0)
    {
        LOGW("avcodec_open2 video failed!");
        return;
    }

    //////////////////////////////////////////////////////////
    //打開音頻解碼器
    //軟解碼器
    AVCodec *acodec = avcodec_find_decoder(ic->streams[audioStream]->codecpar->codec_id);
    //硬解碼
    //codec = avcodec_find_decoder_by_name("h264_mediacodec");
    if(!acodec)
    {
        LOGW("avcodec_find failed!");
        return;
    }
    //音頻解碼器初始化
    AVCodecContext *ac = avcodec_alloc_context3(acodec);
    avcodec_parameters_to_context(ac,ic->streams[audioStream]->codecpar);
    ac->thread_count = 8;
    //打開解碼器
    re = avcodec_open2(ac,0,0);
    if(re != 0)
    {
        LOGW("avcodec_open2  audio failed!");
        return;
    }
    //讀取幀數據
    AVPacket *pkt = av_packet_alloc();
    AVFrame *frame = av_frame_alloc();
    long long start = GetNowMs();
    int frameCount = 0;


    //初始化像素格式轉換的上下文
    SwsContext *vctx = NULL;
    int outWidth = 1280;
    int outHeight = 720;
    char *rgb = new char[1920*1080*4];
    char *pcm = new char[48000*4*2];

    //音頻重采樣上下文初始化
    SwrContext *actx = swr_alloc();
    actx = swr_alloc_set_opts(actx,
                              av_get_default_channel_layout(2),
                              AV_SAMPLE_FMT_S16,ac->sample_rate,
                              av_get_default_channel_layout(ac->channels),
                              ac->sample_fmt,ac->sample_rate,
                              0,0 );
    re = swr_init(actx);
    if(re != 0)
    {
        LOGW("swr_init failed!");
    }
    else
    {
        LOGW("swr_init success!");
    }

    //顯示窗口初始化
    ANativeWindow *nwin = ANativeWindow_fromSurface(env,surface);
    ANativeWindow_setBuffersGeometry(nwin,outWidth,outHeight,WINDOW_FORMAT_RGBA_8888);
    ANativeWindow_Buffer wbuf;

    for(;;)
    {
        //超過三秒
        if(GetNowMs() - start >= 3000)
        {
            LOGW("now decode fps is %d",frameCount/3);
            start = GetNowMs();
            frameCount = 0;
        }

        int re = av_read_frame(ic,pkt);
        if(re != 0)
        {

            LOGW("讀取到結尾處!");
            int pos = 20 * r2d(ic->streams[videoStream]->time_base);
            av_seek_frame(ic,videoStream,pos,AVSEEK_FLAG_BACKWARD|AVSEEK_FLAG_FRAME );
            continue;
        }

        AVCodecContext *cc = vc;
        if(pkt->stream_index == audioStream)
            cc=ac;

        //發送到線程中解碼
        re = avcodec_send_packet(cc,pkt);
        //清理
        int p = pkt->pts;
        av_packet_unref(pkt);

        if(re != 0)
        {
            LOGW("avcodec_send_packet failed!");
            continue;
        }

        for(;;)
        {
            re = avcodec_receive_frame(cc,frame);
            if(re !=0)
            {
                //LOGW("avcodec_receive_frame failed!");
                break;
            }
            //LOGW("avcodec_receive_frame %lld",frame->pts);
            //如果是視頻幀
            if(cc == vc)
            {
                frameCount++;
                vctx = sws_getCachedContext(vctx,
                                            frame->width,
                                            frame->height,
                                            (AVPixelFormat)frame->format,
                                            outWidth,
                                            outHeight,
                                            AV_PIX_FMT_RGBA,
                                            SWS_FAST_BILINEAR,
                                            0,0,0
                );
                if(!vctx)
                {
                    LOGW("sws_getCachedContext failed!");
                }
                else
                {
                    uint8_t *data[AV_NUM_DATA_POINTERS] = {0};
                    data[0] =(uint8_t *)rgb;
                    int lines[AV_NUM_DATA_POINTERS] = {0};
                    lines[0] = outWidth * 4;
                    int h = sws_scale(vctx,
                                      (const uint8_t **)frame->data,
                                      frame->linesize,0,
                                      frame->height,
                                      data,lines);
                    LOGW("sws_scale = %d",h);
                    if(h > 0)
                    {
                        ANativeWindow_lock(nwin,&wbuf,0);
                        uint8_t *dst = (uint8_t*)wbuf.bits;
                        memcpy(dst,rgb,outWidth*outHeight*4);
                        ANativeWindow_unlockAndPost(nwin);
                    }
                }

            }
            else //音頻
            {
                uint8_t *out[2] = {0};
                out[0] = (uint8_t*) pcm;

                //音頻重采樣
                int len = swr_convert(actx,out,
                                      frame->nb_samples,
                                      (const uint8_t**)frame->data,
                                      frame->nb_samples);
                LOGW("swr_convert = %d",len);
            }

        }

        //////////////////////


    }
    delete rgb;
    delete pcm;



    //關閉上下文
    avformat_close_input(&ic);



    env->ReleaseStringUTFChars(url_, path);
}
View Code

FFmpeg(六) 播放視頻之GLSurfaceView顯示RGB數據

相關推薦

FFmpeg(六) 播放視頻之GLSurfaceView顯示RGB數據

原始的 runnable sws_scale 格式 send text 介紹 ttr start 一、播放視頻說明 　　1、兩種方式播放視頻 　　　　　　①shader播放YUV，後面再介紹。 　　　　　　②RGB直接顯示數據，簡單。性能差，用到FFmpeg的格式轉換

ffmpeg +sdl 播放視頻

lse troy bit yuv420 clu edi ces 全部 some 1 #include <iostream> 2 #include <SDL.h> 3 #include <stdio.h> 4 #inclu

我收集的一些目標檢測、跟蹤、識別標準測試視頻集和圖像數據庫

ima detail track 分離 urb images data mic hang 一個網友收集的運動目標檢測，陰影檢測的標準測試視頻 http://blog.csdn.net/sunbaigui/article/details/6363390 很權威的c

Android 音視頻深入 六 使用FFmpeg播放視頻（附源碼下載）

finished 過濾器 _id urn sta ble 還需要 () com 本篇項目地址，求starhttps://github.com/979451341/Audio-and-video-learning-materials/tree/master/FFmpeg%E6

100行代碼實現最簡單的基於FFMPEG+SDL的視頻播放器（SDL1.x）【轉】

工程 全屏 升級版 gin avcodec ive 系列文章 相同 hello 轉自：http://blog.csdn.net/leixiaohua1020/article/details/8652605 版權聲明：本文為博主原創文章，未經博主允許不得轉載。

Android 音視頻深入 十八 FFmpeg播放視頻，有聲音（附源碼下載）

音視頻 Android FFmpeg 項目地址https://github.com/979451341/AudioVideoStudyCodeTwo/tree/master/FFmpegv%E6%92%AD%E6%94%BE%E8%A7%86%E9%A2%91%E6%9C%89%E5%A3%B0%

Unity3D 怎樣在安卓手機上播放視頻

nbsp screen mp4 unity3 clas 電腦 () div oid 曾經僅僅會在電腦上通過Unity3D播放視頻，研究了下發現通過Unity3D在手機上播放視頻也很easy。現介紹例如以下。 void OnGUI() { if

錯誤卸載軟件導致Windows7系統中的軟件無法播放視頻

gb2 content win net window text bsp 技術分享 pan 1、錯誤描寫敘述 2、錯誤原因 在卸載軟件時。不小心將Windows7中的服務給刪除了 3、解決的方法 又一次安裝操作系統 錯誤卸載軟件導致Wind

移動端播放視頻文件

cnblogs [0 ttext get logs href hand unity 移動 移動端 在移動端，unity並不提供MovieTexture，AVPro QuickTime也用不了，其最基本的顯示方案使用通過PlayFullScreenMovie()函數

android中使用videoview播放視頻

idg pla dea extern sch dia 關聯 extend out 先是布局文件： 1 <LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" 2 x

iOS 關於啟動app循環播放視頻功能（常用於登錄時）

循環播放 tar com hang 視頻 ... 應用 需要 ios 摘自：http://www.jianshu.com/p/85786fce9234 附上DEMO的地址需要的話可以看一下：https://github.com/zhangyqyx/startMovie

FFmpeg連接視頻

clas 強制 碼流 div vfl 匹配 flag -c blog 視頻格式要求：視頻流 - H264，音頻流 - AAC 把兩個視頻 ico.mp4 和 content.mp4 連接成為一個 output.mp4 ffmpeg64.exe -i ico.mp4 -c

video標簽播放視頻只有聲音沒有畫面&在iOS9中video標簽播放無效

sed 兼容性 src 音頻編解碼 帶寬 control auto tel rac video標簽定義視頻，比如電影片段或者其他視頻流。目前video標簽只支持MP4，WebMail，Ogg格式的視頻。 兼容性：IE8以及更早的版本不支持video標簽。其他現代瀏覽器均支持

ckplayer插件播放視頻

index.php mp4 event 鼠標 成功 說了 tex 簡單 容器 官網：超酷網頁視頻 本篇介紹：插件播放視頻， 添加插件（額外的功能）， 視頻格式之間的轉換 PC端一般都是利用插件（Flash）來播放視頻，可以支持很多格式。網上很多說這個插件的，這裏只是

unity 播放視頻 WWW下載StreamingAssets文件

oge nsf nbsp sys resource text 紋理 engine ges 1. 2. 3. 4. 5. 6.代碼如下 using UnityEngine;using System.Collections;using UnityEngin

canvas 點擊圖片播放視頻

播放 set tag ava -s rip int com cti canvas.js window.onload=function() { var canvas = document.getElementById(‘canvas‘); var ctx=

C#中使用ffmpeg合並視頻

測試 blog encode create rtu enc bug 寫到 process 首先將最新的ffmpeg.exe放到debug路徑下，下載地址 http://www.ffmpeg.org/download.html 然後調用此方法 public void C

H5 video播放視頻遇到的問題

min ges es2017 支持的格式 播放 com 轉換 分享 pla 我在別的網站上下載了一個mp4格式的視頻,加到video標簽裏可以正常播放， 然後我用FLV自己轉成mp4，卻提示不支持的格式和mine類型， 後來找到一篇文章 http://jingy

iOS 利用FFmpeg 開發音視頻流（二）

框架 視頻流 -i ref image ear target bin scrip 原文地址： iOS配置FFmpeg框架(原創) 腳本文件下載地址 https://github.com/kewlbear/FFmpeg-iOS-build-script。 上述博文中是直接下載

在Winform中播放視頻等【DotNet，C#】

視頻格式 數量 ide () ngs 很多 選擇 有一個 void 在項目中遇到過這樣的問題，就是如何在Winform中播放視頻。當時考察了幾種方式，第一種是直接使用Windows Media Player組件，這種最簡單；第二種是利用DirectX直接在窗體或者控件上繪圖