2. 程式人生 > >GStreamer基礎教程11 - 與QT整合

GStreamer基礎教程11 - 與QT整合

阿新 • • 發佈：2019-10-31

摘要

　　通常我們的播放引擎需要和GUI進行整合，在使用GStreamer時，GStreamre會負責媒體的播放及控制，GUI會負責處理使用者的互動操作以及建立顯示的視窗。本例中我們將結合QT介紹如何指定GStreamer將視訊輸出到指定視窗，以及如何利用GStreamer上報的資訊去更新GUI。

 

與GUI整合

我們知道與GUI整合有兩個方面需要注意：

  • 顯示視窗的管理。

　　由於顯示視窗通常由GUI框架建立，所以我們需要將具體的視窗資訊告訴GStreamer。由於各個平臺使用不同的方式傳遞視窗控制代碼，GStreamer提供了一個抽象介面（GstVideoOverlay），用於遮蔽平臺的差異，我們可以直接將GUI建立的視窗ID傳遞給GStreamer。

  • GUI介面的更新

　　大多數GUI框架都需要在主執行緒中去做UI的重新整理操作，但GStreamer內部可能會建立多個執行緒，這就需要通過GstBus及GUI自帶的通訊機制將所有GStreamer產生的訊息傳遞到GUI主執行緒，再由GUI主執行緒對介面進行重新整理。

 

　　下面我們將以QT為例來了解如何處理GStreamer與GUI框架的整合。

示例程式碼

qtoverlay.h

#ifndef _QTOVERLAY_
#define _QTOVERLAY_

#include <gst/gst.h>

#include <QWidget>
#include <QPushButton>
#include <QHBoxLayout>
#include <QVBoxLayout>
#include <QSlider>
#include <QTimer>

class PlayerWindow : public QWidget
{
    Q_OBJECT
public:
  PlayerWindow(GstElement *p);

  WId getVideoWId() const ;
  static gboolean postGstMessage(GstBus * bus, GstMessage * message, gpointer user_data);

private slots:
  void onPlayClicked() ;
  void onPauseClicked() ;
  void onStopClicked() ;
  void onAlbumAvaiable(const QString &album);
  void onState(GstState st);
  void refreshSlider();
  void onSeek();
  void onEos();

signals:
  void sigAlbum(const QString &album);
  void sigState(GstState st);
  void sigEos();
  
private:
  GstElement *pipeline;
  QPushButton *playBt;
  QPushButton *pauseBt;
  QPushButton *stopBt;
  QWidget *videoWindow;
  QSlider *slider;
  QHBoxLayout *buttonLayout;
  QVBoxLayout *playerLayout;
  QTimer *timer;

  GstState state;
  gint64 totalDuration;
};

#endif
View Code

qtoverlay.cpp

#include <gst/video/videooverlay.h>
#include <QApplication>
#include "qtoverlay.h"

PlayerWindow::PlayerWindow(GstElement *p)
    :pipeline(p)
    ,state(GST_STATE_NULL)
    ,totalDuration(GST_CLOCK_TIME_NONE)
{
    playBt = new QPushButton("Play");
    pauseBt = new QPushButton("Pause");
    stopBt = new QPushButton("Stop");
    videoWindow = new QWidget();
    slider = new QSlider(Qt::Horizontal);
    timer = new QTimer();

    connect(playBt, SIGNAL(clicked()), this, SLOT(onPlayClicked()));
    connect(pauseBt, SIGNAL(clicked()), this, SLOT(onPauseClicked()));
    connect(stopBt, SIGNAL(clicked()), this, SLOT(onStopClicked()));
    connect(slider, SIGNAL(sliderReleased()), this, SLOT(onSeek()));

    buttonLayout = new QHBoxLayout;
    buttonLayout->addWidget(playBt);
    buttonLayout->addWidget(pauseBt);
    buttonLayout->addWidget(stopBt);
    buttonLayout->addWidget(slider);

    playerLayout = new QVBoxLayout;
    playerLayout->addWidget(videoWindow);
    playerLayout->addLayout(buttonLayout);

    this->setLayout(playerLayout);

    connect(timer, SIGNAL(timeout()), this, SLOT(refreshSlider()));
    connect(this, SIGNAL(sigAlbum(QString)), this, SLOT(onAlbumAvaiable(QString)));
    connect(this, SIGNAL(sigState(GstState)), this, SLOT(onState(GstState)));
    connect(this, SIGNAL(sigEos()), this, SLOT(onEos()));
}

WId PlayerWindow::getVideoWId() const {
    return videoWindow->winId();
}

void PlayerWindow::onPlayClicked() {
    GstState st = GST_STATE_NULL;
    gst_element_get_state (pipeline, &st, NULL, GST_CLOCK_TIME_NONE);
    if (st < GST_STATE_PAUSED) {
        // Pipeline stopped, we need set overlay again
        GstElement *vsink = gst_element_factory_make ("ximagesink", "vsink");
        g_object_set(GST_OBJECT(pipeline), "video-sink", vsink, NULL);
        WId xwinid = getVideoWId();
        gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (vsink), xwinid);
    }
    gst_element_set_state (pipeline, GST_STATE_PLAYING);
}

void PlayerWindow::onPauseClicked() {
    gst_element_set_state (pipeline, GST_STATE_PAUSED);
}

void PlayerWindow::onStopClicked() {
    gst_element_set_state (pipeline, GST_STATE_NULL);
}

void PlayerWindow::onAlbumAvaiable(const QString &album) {
    setWindowTitle(album);
}

void PlayerWindow::onState(GstState st) {
    if (state != st) {
        state = st;
        if (state == GST_STATE_PLAYING){
            timer->start(1000);
        }
        if (state < GST_STATE_PAUSED){
            timer->stop();
        }
    }
}

void PlayerWindow::refreshSlider() {
    gint64 current = GST_CLOCK_TIME_NONE;
    if (state == GST_STATE_PLAYING) {
        if (!GST_CLOCK_TIME_IS_VALID(totalDuration)) {
            if (gst_element_query_duration (pipeline, GST_FORMAT_TIME, &totalDuration)) {
                slider->setRange(0, totalDuration/GST_SECOND);
            }
        }
        if (gst_element_query_position (pipeline, GST_FORMAT_TIME, &current)) {
            g_print("%ld / %ld\n", current/GST_SECOND, totalDuration/GST_SECOND);
            slider->setValue(current/GST_SECOND);
        }
    }
}

void PlayerWindow::onSeek() {
    gint64 pos = slider->sliderPosition();
    g_print("seek: %ld\n", pos);
    gst_element_seek_simple (pipeline, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH ,
                  pos * GST_SECOND);
}

void PlayerWindow::onEos() {
    gst_element_set_state (pipeline, GST_STATE_NULL);
}

gboolean PlayerWindow::postGstMessage(GstBus * bus, GstMessage * message, gpointer user_data) {
    PlayerWindow *pw = NULL;
    if (user_data) {
        pw = reinterpret_cast<PlayerWindow*>(user_data);
    }
    switch (GST_MESSAGE_TYPE(message)) {
        case GST_MESSAGE_STATE_CHANGED: {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (message, &old_state, &new_state, &pending_state);
            pw->sigState(new_state);
            break;
        }
        case GST_MESSAGE_TAG: {
            GstTagList *tags = NULL;
            gst_message_parse_tag(message, &tags);
            gchar *album= NULL;
            if (gst_tag_list_get_string(tags, GST_TAG_ALBUM, &album)) {
                pw->sigAlbum(album);
                g_free(album);
            }
            gst_tag_list_unref(tags);
            break;
        }
        case GST_MESSAGE_EOS: {
            pw->sigEos();
            break;
        }
        default:
            break;
    }
    return TRUE;
}

int main(int argc, char *argv[])
{
  gst_init (&argc, &argv);
  QApplication app(argc, argv);
  app.connect(&app, SIGNAL(lastWindowClosed()), &app, SLOT(quit ()));

  // prepare the pipeline
  GstElement *pipeline = gst_parse_launch ("playbin uri=file:///home/john/video/sintel_trailer-480p.webm", NULL);

  // prepare the ui
  PlayerWindow *window = new PlayerWindow(pipeline);
  window->resize(900, 600);
  window->show();

  // seg window id to gstreamer
  GstElement *vsink = gst_element_factory_make ("ximagesink", "vsink");
  WId xwinid = window->getVideoWId();
  gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (vsink), xwinid);
  g_object_set(GST_OBJECT(pipeline), "video-sink", vsink, NULL);

  // connect to interesting signals
  GstBus *bus = gst_element_get_bus(pipeline);
  gst_bus_add_watch(bus, &PlayerWindow::postGstMessage, window);
  gst_object_unref(bus);

  // run the pipeline
  GstStateChangeReturn sret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  if (sret == GST_STATE_CHANGE_FAILURE) {
    gst_element_set_state (pipeline, GST_STATE_NULL);
    gst_object_unref (pipeline);
    // Exit application
    QTimer::singleShot(0, QApplication::activeWindow(), SLOT(quit()));
  }

  int ret = app.exec();

  window->hide();
  gst_element_set_state (pipeline, GST_STATE_NULL);
  gst_object_unref (pipeline);

  return ret;
}

qtoverlay.pro

QT += core gui widgets
TARGET = qtoverlay

INCLUDEPATH += /usr/include/glib-2.0
INCLUDEPATH += /usr/lib/x86_64-linux-gnu/glib-2.0/include
INCLUDEPATH += /usr/include/gstreamer-1.0
INCLUDEPATH += /usr/lib/x86_64-linux-gnu/gstreamer-1.0/include
LIBS += -lgstreamer-1.0 -lgobject-2.0 -lglib-2.0 -lgstvideo-1.0

SOURCES += qtoverlay.cpp
HEADERS += qtoverlay.h

分別儲存以上內容到各個檔案，執行下列命令即可得到可執行程式。如果找不到標頭檔案及庫檔案，需要根據實際路徑修改qtoverlay.pro檔案中的內容。

qmake -o Makefile qtoverlay.pro
make

 

原始碼分析

  // prepare the pipeline
  GstElement *pipeline = gst_parse_launch ("playbin uri=file:///home/jleng/video/sintel_trailer-480p.webm", NULL);

  // prepare the ui
  PlayerWindow *window = new PlayerWindow(pipeline);
  window->resize(900, 600);
  window->show();

　　在main函式中對GStreamer進行初始化及建立了QT的應用物件後，構造了Pipline，構造GUI視窗物件。在PlayerWindow的建構函式中初始化按鈕及視窗，同時建立定時重新整理進度條的Timer。

 

  // seg window id to gstreamer
  GstElement *vsink = gst_element_factory_make ("ximagesink", "vsink");
  WId xwinid = window->getVideoWId();
  gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (vsink), xwinid);
  g_object_set(GST_OBJECT(pipeline), "video-sink", vsink, NULL);
  ...
  gst_bus_add_watch(bus, &PlayerWindow::postGstMessage, window);
  ...
  GstStateChangeReturn sret = gst_element_set_state (pipeline, GST_STATE_PLAYING);
  ...
  int ret = app.exec();
  ...

　　接著我們單獨建立了ximagesink用於視訊渲染，同時我們將Qt建立的視訊視窗ID設定給GStreamer，讓GStreamer得到渲染的視窗ID，接著使用g_object_set()將自定義的Sink通過“video-sink”屬性設定到playbin中。
　　同時，我們設定了GStreamer的訊息處理函式，所有的訊息都會在postGstMessage函式中被轉發。為了後續呼叫GUI物件中的介面，我們需要將GUI視窗指標作為user-data，在postGstMessage中再轉換為GUI物件。
　　接著設定Pipeline的狀態為PLAYING開始播放。
　　最後呼叫GUI框架的事件迴圈，exec()會一直執行，直到關閉視窗。
　　由於GStreamer的GstBus會預設使用GLib的主迴圈及事件處理機制，所以必須要保證GLi預設的MainLoop在某個執行緒中執行。在本例中，Qt在Linux下會自動使用GLib的主迴圈，所以我們無需額外進行處理。

 

gboolean PlayerWindow::postGstMessage(GstBus * bus, GstMessage * message, gpointer user_data) {
    PlayerWindow *pw = NULL;
    if (user_data) {
        pw = reinterpret_cast<PlayerWindow*>(user_data);
    }
    switch (GST_MESSAGE_TYPE(message)) {
        case GST_MESSAGE_STATE_CHANGED: {
            GstState old_state, new_state, pending_state;
            gst_message_parse_state_changed (message, &old_state, &new_state, &pending_state);
            pw->sigState(new_state);
            break;
        }
        case GST_MESSAGE_TAG: {
            GstTagList *tags = NULL;
            gst_message_parse_tag(message, &tags);
            gchar *album= NULL;
            if (gst_tag_list_get_string(tags, GST_TAG_ALBUM, &album)) {
                pw->sigAlbum(album);
                g_free(album);
            }
            gst_tag_list_unref(tags);
            break;
        }
        case GST_MESSAGE_EOS: {
            pw->sigEos();
            break;
        }
        default:
            break;
    }
    return TRUE;
}

　　我們在轉換後GUI物件後，再根據訊息型別進行處理。在postGstMessage中我們沒有直接更新GUI，因為GStreamer的Bus處理執行緒與GUI主執行緒可能為不同執行緒，直接更新GUI會出錯或無效。因此利用Qt的signal-slot機制在相應的槽函式中就行GUI資訊的更新。這裡只處理了3種訊息STATE_CHANGED（狀態變化），TAG（媒體元資料及編碼資訊），EOS（播放結束），GStreamer所支援的訊息可檢視官方文件GstMessage。

 

void PlayerWindow::onPlayClicked() {
    GstState st = GST_STATE_NULL;
    gst_element_get_state (pipeline, &st, NULL, GST_CLOCK_TIME_NONE);
    if (st < GST_STATE_PAUSED) {
        // Pipeline stopped, we need set overlay again
        GstElement *vsink = gst_element_factory_make ("ximagesink", "vsink");
        g_object_set(GST_OBJECT(pipeline), "video-sink", vsink, NULL);
        WId xwinid = getVideoWId();
        gst_video_overlay_set_window_handle (GST_VIDEO_OVERLAY (vsink), xwinid);
    }
    gst_element_set_state (pipeline, GST_STATE_PLAYING);
}

　　當點選Play按鈕時，onPlayClicked函式會被呼叫，我們在此直接呼叫GStreamer的介面設定Pipeline的狀態。當播放結束或點選Stop時，GStreamer會在狀態切換到NULL時釋放所有資源，所以我們在此需要重新設定playbin的vido-sink，並指定視訊輸出視窗。

　　Pause，Stop的處理類似，直接呼叫gst_element_set_state ()將Pipeline設定為相應狀態。

 

void PlayerWindow::refreshSlider() {
    gint64 current = GST_CLOCK_TIME_NONE;
    if (state == GST_STATE_PLAYING) {
        if (!GST_CLOCK_TIME_IS_VALID(totalDuration)) {
            if (gst_element_query_duration (pipeline, GST_FORMAT_TIME, &totalDuration)) {
                slider->setRange(0, totalDuration/GST_SECOND);
            }
        }
        if (gst_element_query_position (pipeline, GST_FORMAT_TIME, &current)) {
            g_print("%ld / %ld\n", current/GST_SECOND, totalDuration/GST_SECOND);
            slider->setValue(current/GST_SECOND);
        }
    }
}

void PlayerWindow::onSeek() {
    gint64 pos = slider->sliderPosition();
    g_print("seek: %ld\n", pos);
    gst_element_seek_simple (pipeline, GST_FORMAT_TIME, GST_SEEK_FLAG_FLUSH ,
                  pos * GST_SECOND);
}

　　我們在建構函式中建立了Timer用於每秒重新整理進度條，在refreshSlider被呼叫時，我們通過gst_element_query_duration() 和gst_element_query_position ()得到檔案的總時間和當前時間，並重新整理進度條。由於GStreamer返回時間單位為納秒，所以我們需要通過GST_SECOND將其轉換為秒用於時間顯示。
　　我們同樣處理了使用者的Seek操作，在拉動進度條到某個位置時，獲取Seek的位置，呼叫gst_element_seek_simple ()跳轉到指定位置。我們不用關心對GStreamer的呼叫是處於哪個執行緒，GStreamer內部會自動進行處理。

 

總結

通過本文，我們學習到：

  • 如何使用gst_video_overlay_set_window_handle ()將GUI的視窗控制代碼傳遞給GStremaer。
  • 如何使用訊號槽傳遞訊息到GUI主執行緒。
  • 如何使用Timer定時重新整理GUI。

 

引用

https://gstreamer.freedesktop.org/documentation/video/gstvideooverlay.html?gi-language=c
https://gstreamer.freedesktop.org/documentation/tutorials/basic/toolkit-integration.html?gi-language=c
https://doc.qt.io/qt-5/qmake-manual.html

 

作者：John.Leng 出處：http://www.cnblogs.com/xleng/ 本文版權歸作者所有，歡迎轉載。商業轉載請聯絡作者獲得授權，非商業轉載請在文章頁面明顯位置給出原文連線.

相關推薦

GStreamer基礎教程11 - 與QT整合

摘要 　　通常我們的播放引擎需要和GUI進行整合，在使用GStreamer時，GStreamre會負責媒體的播放及控制，GUI會負責處理使用者的互動操作以及建立顯示的視窗。本例中我們將結合QT介紹如何指定GStreamer將視訊輸出到指定視窗，以及如何利用GStreamer上報的資訊去更新GUI。 &nb

gstreamer基礎教程11-Debugging tools

Goal 有事我們會出現一些錯誤，GSteam會給我們提供一些除錯資訊幫助我們來定位問題。主要包括：如何獲取更多除錯資訊，如何將除錯資訊列印到日誌裡，如何獲取pipeline圖。 Sometimes things won’t go as expected an

GStreamer基礎教程11——除錯工具

目標       有時我們的應用並沒有按照我們的預期來工作，並且在總線上獲得的錯誤資訊也沒有足夠的內容。這時我們該怎麼辦呢？幸運的時，GStreamer自身提供了大量的除錯資訊，通常這些資訊會給出一些線索，指向出錯的地方。本教程主要講述：       如何在GStreame

GStreamer基礎教程03 - 媒體型別與Pad

摘要 　　在上一篇文章中，我們介紹瞭如何將多個element連線起來構造一個pipline，進行資料傳輸。那麼GStreamer是通過何種方式保證element之間能正常的進行資料傳輸？今天就將介紹GStreamer是如何利用Pad來控制資料的傳輸。   Pad 　　我們知道，pad是ele

Java基礎教程(11)--對象

虛擬 接受 完成 垃圾 end tlist 基本 pre http 一.創建對象 ??下面的語句創建了一個對象並把它的引用賦值給了一個變量： Point originOne = new Point(23, 94); ??這條語句由三部分組成（下面將詳細討論）： 聲明對象變

Java基礎教程(11)--物件

一.建立物件   下面的語句建立了一個物件並把它的引用賦值給了一個變數： Point originOne = new Point(23, 94);   這條語句由三部分組成（下面將詳細討論）： 宣告物件變數：宣告一個可以引用稍後建立的物件的變數。 例項化類：new關鍵字是例項化類的操作符。

計算機基礎教程11 - 互聯網&內聯網

根據 名稱查找 方式 特定 internet 用戶 images tcp 全世界 在本章中，我們將看到什麽是Internet和Intranet，以及討論兩者之間的異同。 互聯網 它是互聯計算機網絡的全球/全球系統。它使用標準的Internet協議（TCP / IP）。I

Scala基礎教程7 -- 與MIXINS的類組成

7 與MIXINS的類組成 Mixins是用於組成一個類的特質。 abstract class A { val message: String } class B extends A { val message = "I'm an instance of

GStreamer基礎教程07——多執行緒和Pad的有效性

目標       GStreamer會自動處理多執行緒這部分，但在有些情況下，你需要手動對執行緒做解耦。本教程會教你怎樣才能做到這一點，另外也展示了Pad的有效性。主要內容包括：       如何針對部分的pipeline建立一個新的執行緒       什麼是Pad的有效性

【GStreamer開發】GStreamer基礎教程16——平臺相關的element

目標       雖然GStreamer是跨平臺的framework，但不是所有的element都是在所有平臺下都有的。比如，音訊和視訊的sink都非常依賴於當前的window系統，根據當前的平臺需要選擇不同的element。當然，你在執行playbin2或者autovid

GStreamer基礎教程01——Hello World

目標       對於一個軟體庫來說，沒有比在螢幕上打印出Hello World更近直觀的第一印象了。因為我們是在和一個多媒體的framework打交道，所以我們準備播放一段視訊來代替Hello World。不要被下面的程式碼嚇唬住了——真正起作用的也就四行而已。剩下的都是

Gstreamer基礎教程01 - Hello World

摘要 在面對一個新的軟體庫時，第一步通常實現一個“hello world”程式，來了解庫的用法。對於GStreamer，我們可以實現一個極簡的播放器，來了解GStreamer的使用。   環境配置 為了快速掌握Gstreamer相關的知識，我們優先選擇Ubuntu作為

GStreamer基礎教程02 - 基本概念

摘要 在 Gstreamer基礎教程01 - Hello World中，我們介紹瞭如何快速的通過一個字串建立一個簡單的pipeline。為了能夠更好的控制pipline中的element，我們需要單獨建立element，然後再構造pipeline，下面將介紹GStreamer的一些基本概念並展示pipeli

GStreamer基礎教程04 - 動態連線Pipeline

摘要 在以前的文章中，我們瞭解到了2種播放檔案的方式：一種是在知道了檔案的型別及編碼方式後，手動建立所需Element並構造Pipeline；另一種是直接使用playbin，由playbin內部動態建立所需Element並連線Pipeline。很明顯使用playbin的方式更加靈活，我們不需要在一開始就建立

GStreamer基礎教程05 - 播放時間控制

簡介 在多媒體應用中，我們通常需要查詢媒體檔案的總時間、當前播放位置，以及跳轉到指定的時間點。GStreamer提供了相應的介面來實現此功能，在本文中，我們將通過示例瞭解如何查詢時間資訊，以及如何進行跳轉到指定位置。   GStreamer查詢機制 GStreamer提供了GstQuery的

GStreamer基礎教程06 - 獲取媒體資訊

摘要 在常見的媒體檔案中，通常包含一些資料（例如：歌手，專輯，編碼型別等），用於描述媒體檔案。通常稱這些資料為元資料（Metadata：data that provides information about other data）。我們可以通過這些元資料對媒體進行歸類，同時可以在播放的過程中通過介面顯示。

GStreamer基礎教程07 - 播放速率控制

摘要 　　在常見的媒體播放器中，通常可以看到快進，快退，慢放等功能，這部分功能被稱為“特技模式（Trick Mode）”，這些模式有個共同點：都通過修改播放的速率來達到相應的目的。 本文將介紹如何通過GStreamer去實現快進，快退，慢放以及單幀播放。   GStre

GStreamer基礎教程08 - 多執行緒

摘要 　　GStreamer框架會自動處理多執行緒的邏輯，但在某些情況下，我們仍然需要根據實際的情況自己將部分Pipeline在單獨的執行緒中執行，本文將介紹如何處理這種情況。 GStreamer多執行緒 　　GStreamer框架是一個支援多執行緒的框架，執行緒會根據Pipeline的需要自動建立和銷

GStreamer基礎教程09 - Appsrc及Appsink

摘要 在我們前面的文章中，我們的Pipline都是使用GStreamer自帶的外掛去產生/消費資料。在實際的情況中，我們的資料來源可能沒有相應的gstreamer外掛，但我們又需要將資料傳送到GStreamer Pipeline中。GStreamer為我們提供了Appsrc以及Appsink外掛，用於處理這

Gstreamer基礎教程10 - Streaming

摘要 　　我們把直接從網路播放一個媒體檔案的方式稱為線上播放（Online Streaming），我們已經在以往的例子中體驗了GStreamer的線上播放功能，當我們指定播放URI為 http:// 時，GStreamer內部會自動通過網路獲取媒體資料。在今天的示例中，我們將進一步瞭解如何處理由網路問題導致