『音視訊技術開發週刊』由LiveVideoStack團隊出品，專注在音視訊技術領域，縱覽相關技術領域的乾貨和新聞投稿，每週一期。點選『閱讀原文』，瀏覽第74期內容，祝您閱讀愉快。

架構

VMAF：未畢之旅

本文來自Netflix的科技部落格，闡述了VMAF的最新應用進展，以及VMAF正在做的改進工作。感謝鄧斌的翻譯，及快手相關同學的技術審校。

“ GPU視訊處理技術調研報告 ”

本文來自英偉達高階工程師 季光在LiveVideoStack 線上交流分享，並由LiveVideoStack整理而成。分享中季光詳細解析了GPU在視訊編解碼，影象分析和視訊處理方面的相關技術支援，及實際效能評測資料。可以說是一份詳細的“GPU視訊處理技術調研報告”。

HTTP over QUIC重新命名為“HTTP / 3”協議

HTTP工作組暨QUIC工作組主席Mark Nottingham 建議將HTTP-over-QUIC（HTTP/QUIC）重新命名為“HTTP/3”，以解決種種混淆。並在上週舉行的IETF 103的QUIC工作組會議中提議通過。這標誌著新HTTP版本將使用QUIC進行傳輸。

開源視訊播放框架學習——AndroidVideoCache

本框架的思想就是在本地構建一個ServerSocket作為代理伺服器，將對MP4地址進行封裝，從而攔截到本地ServerSocket，攔截之後解析出url和請求頭進行真正的網路請求。而視訊播放控制元件例如MediaPlay、VideoView就相當於客戶端了，最後將真正的網路請求通過Socket的方式寫入到客戶端，這樣視訊控制元件就可以播放了。

螞蟻實時視訊通話技術和實踐

從電影、電視到電腦、手機，人們獲取視訊資訊的方式越來越方便、快捷。時下較熱門的視訊通話、互動直播時長佔據了當下年輕人很大一部分的生活時間，可見實時視訊技術在生活中的重要性。今天，螞蟻金服高階技術專家樟鬆將為我們揭祕“螞蟻實時視訊通話系統”的技術架構及特點，講述實時視訊通話的底層技術以及其運用。

音訊/視訊技術

音視訊技術：視訊質量評價方法簡介

視訊質量評估（VQA）一直是個很活躍的研究領域，原因其一是業內一直缺少一種統一且準確的評估標準，其二是影響視訊質量的因素過多，且包含很多主觀因素，難以客觀、定量地評價。經過這麼多年的研究，已經誕生了非常多的視訊質量評估方法，本文將簡單地對它們進行分類及介紹。

MP4大檔案虛擬HLS分片技術，避免伺服器大量檔案碎片

本文主要介紹了通過虛擬分片技術，把MP4檔案，對映為HLS協議中的一個個小的TS分片檔案，實現了在不實際切分MP4檔案的情況下，通過HLS協議播放MP4檔案，從而避免了對MP4進行點播...

WebRTC基礎實踐 - 通過RTCPeerConnection傳輸流媒體視訊

在WebRTC規範中, RTCPeerConnection用於視訊流/音訊流、以及資料的傳輸。文中的示例程式, 將會在一個頁面上, 通過兩個 RTCPeerConnection 物件建立一個連線通道。

Android Camera模組解析之視訊錄製

本文主要講解如何利用Camera 2 實現錄製視訊的功能。拍照和錄製視訊的前期功能都是類似的，在拍照之前會有Camera Preview功能，錄製視訊之前也是有這個功能的，唯一的不同就是抓取的資料不同，拍照抓取的是Image，視訊抓取的Video，資料組織格式不一樣。

編解碼

編解碼器之戰：AV1、HEVC、VP9和VVC

視訊Codec專家Jan Ozer在Streaming Media West上主持了一場開放論壇，邀請百餘名觀眾參與熱門Codec的各項優勢與短板。本文整理了討論的主要成果，基本代表了AV1、HEVC、VP9和VVC主流的觀點。LiveVideoStack對原文進行了摘譯。

Netty學習之路（七）-編解碼技術

當進行遠端跨程序服務呼叫時，需要把被傳輸的Java物件編碼為位元組陣列或者ByteBuffer物件。而當遠端服務讀取到ByteBuffer物件或者位元組陣列時，需要將其解碼為傳送時的Java物件。

JPEG-XS：用於IP視訊的母片影象（mezzanine image）編解碼器

本帖參考T. Richter等人發表在SMPTE Motion Imaging Journal的文章JPEG-XS—A High-Quality Mezzanine Image Codec for Video Over IP。超高清（UHD）內容的生產，需要更多的頻寬用來傳輸和交換資料；基於IP協議棧的基礎架構則更多的靈活性。在生產工作流程中的母片壓縮技術可以減少必要的資料傳輸容量，甚至可以使用舊的、支援HD的基礎架構。

TICO : UHD生產系統中的Mezzanine Codec

本帖參考M. Miyazaki等人發表在SMPTE Motion Imaging Journal的文章UHDTV-2 Mezzanine Compression Codec For Miniaturized and Simplified UHD Production System，重點介紹了我們在生產應用中硬體壓縮的發展。

採集音訊和攝像頭視訊並實時H264編碼及AAC編碼

本文所使用的技術，適用於實時性的應用，通過處理採集出來的音視訊的每一幀，實現實時編碼，實時輸出。在直播應用中輸入端採用DirectShow技術捕獲音視訊，然後對視訊進行h.264編碼，對音訊進行aac編碼，輸出端則是生成檔案，接下來還要進一步擴充套件輸入端和輸出端，以支援檔案、桌面輸入，RTSP、RTMP、HTTP等流式協議輸出。

AI智慧

「史上最強GAN影象生成器」BigGAN的demo出了！

BigGAN 一經提出即引起了大量關注，被稱為「史上最強 GAN 影象生成器」。今日，DeepMind 放出了 BigGAN 的拿來即用 TF Hub demo，可以在 Colab 上執行影象生成和影象插值任務。

自動程式設計DNN加速器！只需3步，雲端終端通用

美國伊利諾伊大學、IBM中國研究院等的最新研究，提出一種基於FPGA的DNN推理加速器DNNBuilder，獲得電子設計自動化領域學術頂會ICCAD的最佳論文。實驗證明，DNNBuilder生成的加速器擁有現時最先進的效能和效率，超越了同類加速器。本文帶來論文作者的詳細解讀。

影象分割技術介紹

影象分割（image segmentation）技術是計算機視覺領域的一個重要的研究方向，是影象語義理解的重要一環。影象分割是指將影象分成若干具有相似性質的區域的過程，從數學角度來看，影象分割是將影象劃分成互不相交的區域的過程。

224秒訓練ImageNet！這次創紀錄的是索尼大法

深度神經網路訓練速度越來越快已經不是新鮮事，但是，將ImageNet訓練時間降低到200秒級別仍然讓人震撼！近日，索尼釋出新的方法，在ImageNet資料集上，使用多達2176個GPU，在224秒內成功訓練了ResNet-50，重新整理了紀錄。

影象

Android-圖片的壓縮(質量壓縮和尺寸壓縮)

圖片的尺寸壓縮是指：按照一定的倍數對圖片減少單位尺寸的畫素值，可以改變圖片在記憶體中的大小，不改變圖片在磁碟中的大小。

一種JNI方法實現圖片壓縮，壓縮率極高

本片文章介紹了一種JNI方法實現的圖片壓縮方式，其壓縮率極高。直接使用專案或直接複製libs中的so庫到專案中即可（當前只構建了armeabi），需要其他ABI可檢下專案另外使用CMake構建即可。