1. 程式人生 > >音視訊技術開發週刊 77期

音視訊技術開發週刊 77期

640?wx_fmt=jpeg


音視訊技術開發週刊』由LiveVideoStack團隊出品,專注在音視訊技術領域,縱覽相關技術領域的乾貨和新聞投稿,每週一期。點選『閱讀原文』,瀏覽第77期內容,祝您閱讀愉快。


架構


基於FFmpeg的運動視訊分析

本文來自英特爾資深軟體工程師李忠,張華在LiveVideoStackCon 2018大會上的分享,由LiveVideoStack整理而成。分享中兩位老師重點介紹了基於FFmpeg的運動視訊分析技術架構,以及英特爾視訊分析的軟硬體解決方案。


RTMP之後,SRT與QUIC

RTMP協議存在累計延遲與加密方面的問題,為適應網際網路視訊低延時,高質量的要求,以UDP為核心,具有創造性的SRT,QUIC等流媒體視訊方式將成為新的選擇。本文來自NGCodec官方部落格,由LiveVideoStack進行摘譯。


AWS Elemental推出新一代基於雲的直播視訊服務

亞馬遜的AWS Elemental新推出了一種可靠,安全且靈活的實時視訊傳輸服務MediaConnect,其主要功能包括視訊源的獲取,分發與共享。


一切從使用者的需求與體驗出發

2018年音視訊生態發生了許多變化,從視訊編碼到網路傳輸,5G的標準完善、QUIC的更名確認、人工智慧的不斷升溫,他們對多媒體技術將產生怎樣的影響,未來技術發展方向又將如何?LiveVideoStack邀請了三體雲系統架構師時傑、即構科技資深架構師祝永堅和七牛直播雲流媒體負責人謝然探討網路傳輸、QoE以及2019年技術展望。


SDP協議總結

SDP(Session Description Portocol)會話描述協議,通常通過內容型別為"application/sdp"的MIME來表示。


流媒體協議RTSP、HTTP、HTTPS、SDP四種區別解析

瞭解了基本協議,我們在看程式碼寫程式碼的過程中,就會有事半功倍的效果。下面主要講解RTSP,HTTP,HTTPS, SDP四種協議,一起來看看了解下,僅供參考。


播放器技術分享(1):架構設計

第一期文章要推出的內容主要涉及到播放器比較核心的幾個技術點,本篇是系列文章的第一篇,主要聊一聊播放器的架構設計。


播放器技術分享(2):緩衝區管理

第一期文章要推出的內容主要涉及到播放器比較核心的幾個技術點,本篇是系列文章的第二篇,主要聊一聊播放器的緩衝區管理。


音訊/視訊技術


VVC最新進展: 超高清和360全景視訊壓縮工具

近日(2018.11.23),RWTH Aachen University的Mathias Wien做了一個“Versatile Video Coding: Compression Tools for UHD and 360° Video”的講座。該講座概述了ITU-T和ISO / IEC新興的通用視訊編碼標準(VVC)的主要編碼工具和功能。VVC解決了三類視訊:標準動態範圍視訊(SDR),高動態範圍視訊(HDR)和360°視訊。


OBS整合WebRTC

本文主要描述: - OBS的輸出外掛開發; - 外部的YUV視訊資料怎麼輸入WebRTC; - 外部的PCM音訊資料怎麼輸入WebRTC; - 外部怎麼實現WebRTC的編碼器; - 怎麼封裝OBS的編碼器讓WebRTC可以使用X264和硬體編碼器。


HDR視訊生態圈追蹤

2017年時的HDR生態圈如圖1所示,截止目前,HDR視訊生態圈已經產生了巨大的變化。本文將更新舊有的HDR生態圈範圍,並更清晰地描述當前HDR視訊生態圈。本文譯自The HDR video ecosystem tracker,原作者為 Yoeri Geutskens,曾任飛利浦消費電子公司DVD錄影機產品規劃經理。


Android多聲道錄音研究

原生Android只支援2 channel的錄音。可是偏偏會有多mic的需求,比如說語音識別。目前已知TDM協議可以將多mic資料從kernel送到hal,從核心空間搬運到使用者空間中。可是原生AudioRecord介面是完全不支援多channel錄音資料的採集的,怎麼修改,才能讓原生進行支援呢?


基於Mediasoup的多方通話研究(一)

脫穎而出Mediasoup,可以用小而美來形容她:支援目前主流的瀏覽器,chrome、Firefox、safari、Edge等等;支援UnifiedPlanSdp和PlanBSdp兩種方式;ORTC的api風格呼叫方式,避免了WebRTC的不足,使協議更簡潔...


編解碼


MPEG最近在忙啥?

MPEG主席Leonardo近日描述了MPEG未來幾個月或幾年的主要活動和準備交付的標準進展。本帖子內容翻譯自其部落格文章: Life inside MPEG, (http://blog.chiariglione.org/life-inside-mpeg/)


MSU編碼器主觀評測新結果

近日,MSU的Graphics & Media Lab(Video Group) 釋出了一種新的視訊主觀質量評價方法,針對14種編碼器,以編碼速度高於1fps的引數對5段全高清1080p序列進行編碼和測試。


Android使用MediaCodec編碼AAC

MediaCodec 是Android系統提供的硬體編碼器,它可以利用裝置的硬體來完成編碼,從而提高編碼效率,並可以減輕CPU壓力降低電量的使用。


Netty 解碼器

Netty裡的解碼通過抽象類ByteToMessageDecoder進行統一規劃。ByteToMessageDecoder繼承了ChannelInboundHandlerAdapter,解碼器也是一個ChannelHandler。


AI智慧


NVIDIA想要用AI實時生成視訊,效果遠超想象

NVIDIA剛剛在NeurIPS大會上展示了一項新的人工智慧應用,可以看作是一個駕駛模擬系統,特點是其中的視訊內容由AI生成,你可通過真實方向盤來控制視訊內的車輛。


基於手機系統的實時目標檢測

在具有有限計算能力和儲存器資源的移動裝置上運行卷積神經網路(CNN)模型的日益增長的需求促進了對有效模型設計的研究。近年來已經提出了許多有效的架構,例如:MobileNet,ShuffleNet和NASNet-A。


AI做不了“真”3D影象?試試Google的新生成模型

近日,在 NeurIPS 2018 會議上接收的論文“ 視覺物件網路:影象生成與分離式的3D表示”中,麻省理工學院電腦科學與人工智慧實驗室(MIT CSAIL)和 Google 的研究人員介紹了能創造出有逼真紋理和形狀的一個生成式 AI 系統。


從0到1:神經網路實現影象識別(上)

“神經網路”是“機器學習”的利器之一,常用演算法在TensorFlow、MXNet計算框架上,有很好的支援。為了更好的理解與使用這件利器,我們可以不借助計算框架,從零開始,一步步構建模型,實現學習演算法,並在一個影象識別資料集上,訓練這個模型,再驗證模型預測的準確率。


影象


影象識別的原理、過程、應用前景

影象識別技術的過程分為資訊的獲取、預處理、特徵抽取和選擇、分類器設計和分類決策。簡單分析了影象識別技術的引入、其技術原理以及模式識別等,之後介紹了神經網路的影象識別技術和非線性降維的影象識別技術及影象識別技術的應用。從中可以總結出影象處理技術的應用廣泛,人類的生活將無法離開影象識別技術,研究影象識別技術具有重大意義。