主頁（http://www.by236.com）：詳解音視頻直播中的低延時 音視頻實時通訊的應用場景已經隨處可見，從“吃雞”的語音對講、直播連麥、直播答題組隊開黑，再到銀行視頻開戶等。對于開發者來講，除了關注如何能快速實現不同應用場景重點額音視頻通訊，另一個更需要關注的可能就是“低延時”。但是，到底實時音視頻傳輸延時應該如何“低”，才能滿足你的應用場景呢？ 延時的產生與優化在聊低延時之前，我們先要講清延時是如何產生的。由于音視頻的傳輸路徑一樣，我們可以通過一張圖來說明延時的產生:
在音視頻傳輸過程中，在不同階段都會產生延時。總體可以分為三類：
T1：設備端上的延時音視頻數據在設備端上產生延時還可以細分。設備端上的延時主要與硬件性能、采用的編解碼算法、音視頻數據量相關，設備端上的延時可達到 30~200ms，甚至更高。如上表所示，音頻與視頻分別在采集端或播放端產生延時的過程基本相同，但產生延時的原因不同。 音頻在設備端上的延時：
視頻在設備端上的延時：
另外，在設備端，CPU、緩存通常會同時處理來自多個應用、外接設備的請求，如果某個問題設備的請求占用了 CPU，會導致音視頻的處理請求出現延時。以音頻為例，當出現該狀況時，CPU 可能無法及時填充音頻緩沖區，音頻會出現卡頓。所以設備整體的性能，也會影響音視頻采集、編解碼與播放的延時。 T2：端與服務器間的延時影響采集端與服務器、服務器與播放端的延時的有以下主幾個因素：客戶端同服務間的物理距離、客戶端和服務器的網絡運營商、終端網絡的網速、負載和網絡類型等。如果服務器就近部署在服務區域、服務器與客戶端的網絡運營商一致時，影響上下行網絡延時的主要因素就是終端網絡的負載和網絡類型。一般來說，無線網絡環境下的傳輸延時波動較大，傳輸延時通常在 10~100ms 不定。而有線寬帶網絡下，同城的傳輸延時能較穩定的低至 5ms~10ms。但是在國內有很多中小運營商，以及一些交叉的網絡環境、跨國傳輸，那么延時會更高。 T3：服務器間的延時在此我們要要考慮兩種情況，第一種，兩端都連接著同一個邊緣節點，那么作為最優路徑，數據直接通過邊緣節點進行轉發至播放端；第二種，采集端與播放端并不在同一個邊緣節點覆蓋范圍內，那么數據會經由“靠近”采集端的邊緣節點傳輸至主干網絡，然后再發送至“靠近”播放端的邊緣節點，但這時服務器之間的傳輸、排隊還會產生延時。僅以骨干網絡來講，數據傳輸從黑龍江到廣州大約需要 30ms，從上海到洛杉磯大約需要 110ms~130ms。 在實際情況下，我們為了解決網絡不佳、網絡抖動，會在采集設備端、服務器、播放端增設緩沖策略。一旦觸發緩沖策略就會產生延時。如果卡頓情況多，延時會慢慢積累。要解決卡頓、積累延時，就需要優化整個網絡狀況。 綜上所述，由于音視頻在采集與播放端上的延時取決于硬件性能、編解碼內核的優化，不同設備，表現不同。所以通常市面上常見的“端到端延時”指的是 T2+T3。 延時低≠通話質量可靠不論是教育、社交、金融，還是其它場景下，大家在開發產品時可能會認為“低延時”一定就是最好的選擇。但有時，這種“追求極致”也是陷入誤區的表現，低延時不一定意味著通訊質量可靠。由于音頻與視頻本質上的差異，我們需要分別來講實時音頻、視頻的通訊質量與延時之間的關系。 音頻質量與延時
音頻采樣示意圖 影響實時音頻通訊質量的因素包括：音頻采樣率、碼率、延時。音頻信息其實就是一段以時間為橫軸的正弦波，它是一段連續的信號（如上圖）。
假設網絡狀態穩定不變，那么采樣率越高、碼率越高，音質就越好，但是相應單個采樣信息量就越大，那么傳輸時間可能會相對更長。 對照我們之前的公式，如果想要達到低延時，那么可以提高網絡傳輸效率，比如提高帶寬、網絡速度，這在實驗室環境下可以輕易實現。但放到生活環境中，弱網、中小運營商等不可控的問題必定會影響網絡傳輸效率，最后結果就是通訊質量沒有保障。還有一種方法，就是降低碼率，那么會損失音質。 視頻質量與延時 影響實時視頻質量的因素包括：碼率、幀率、分辨率、延時。其中視頻的碼率與音頻碼率相似，是指單位時間傳輸的數據位數。碼率越大，畫面細節信息越豐富，視頻文件體積越大。
在分辨率一定的情況下，碼率與清晰度成正比關系，碼率越高，圖像越清晰；碼率越低，圖像越不清晰。 在實時視頻通話情況下，會出現多種質量問題，比如：與編解碼相關的畫面糊、不清晰、畫面跳躍等現象，因網絡傳輸問題帶來的延時、卡頓等。所以解決了低延時，只是解決了實時音頻通訊的一小部分問題而已。 綜上來看，如果在網絡傳輸穩定的情況下，想獲得越低的延時，就需要在流暢度、視頻清晰度、音頻質量等方面進行權衡。 我們通過下表看到每個行業對實時音視頻部分特性的大致需求。但是每個行業，不僅對低延時的要求不同，對延時、音質、畫質，甚至功耗之間的平衡也有要求。在有些行業中，低延時并非永遠排在首位。
游戲場景在手游場景下，不同游戲類型對實時音視頻的要求不同，比如狼人殺這樣的桌游，語音溝通是否順暢，對游戲體驗影響很大，所以對延時要求較高。其它類型游戲具體如下方表格所示。
但滿足低延時，并不意味著能滿足手游開發的要求。因為手游開發本身存在很多痛點，比如功耗、安裝包體積、安全性等。從技術層面講，將實時音視頻與手游結合時，手游開發關注的問題有兩類：性能類與體驗類。
在將實時音視頻與手游結合時，除了延時，更注重包的大小、功耗等。安裝包的大小直接影響用戶是否安裝，而功耗則直接影響游戲體驗。 社交直播場景目前的社交直播產品按照功能類型分有僅支持純音頻社交的，比如荔枝 FM；還有音視頻社交的，比如陌陌。這兩類場景對實時音視頻的要求包括：
直播答題場景在直播答題場景中，對實時音視頻的要求主要有如下兩點：
我們以前經常能看到主持人說完一道題，題目卻還沒發到手機上，最后只剩 3 秒的答題時間，甚至沒看到題就已出局。該場景的痛點不是低延時，而是直播音視頻與題目的同步，保證所有人公平，有錢分。 K 歌合唱場景天天 K 歌、唱吧等 K 歌類應用中，都有合唱功能，主流形式是 A 用戶上傳完整錄音，B 用戶再進行合唱。實現實時合唱的主要需求有如下幾點：
在這個場景中，兩人的歌聲與音樂三者之間的同步給低延時提出了很高的要求。同時，音質也是關鍵，如果為了延時而大幅降低音質，就偏離了 K 歌應用的初衷。 金融場景對于核保、銀行開戶來講，需要一對一音視頻通話。由于金融業特殊性，該類應用對實時音視頻的需求，按照重要性來排序如下：
在這個場景中，低延時不是關鍵。重要的是，要保證安全性、雙錄功能和系統平臺的兼容。 在線教育在線教育主要分為兩類：非 K12 在線教育，比如技術開發類教學，該場景對實時音視頻的要求主要有：
很多非 K12 教學發生在單向直播場景下，所以延時要求并不高。 另一類是 K12 在線教育，比如英語外教、部分興趣教學，通常會有一對一或一對多的師生連麥功能，它對直播場景的要求包括：
在 K12 的在線教育中，師生的連麥在低延時方面有較高的要求。如果會涉及跨國的英語教學，或需要面向偏遠地區學生，那還要考慮海外節點部署、中小運營商網絡的支持等。 在線抓娃娃在線抓娃娃是近期新興熱點，主要依靠實時音視頻與線下娃娃機來實現。它對實時音視頻的要求包括：
瓶頸與權衡產品的開發追求極致，需要讓延時低到極限。但理想豐滿，現實骨感。我們曾在上文提到，延時是因多個階段的數據處理、傳輸而產生的。那么就肯定有它觸及天花板的時候。 我們大膽假設，要從北京機場傳輸一路音視頻留到上海虹橋機場。我們突破一切物理環境、財力、人力限制，在兩地之間搭設了一條筆直的光纖，且保證真空傳輸（實際上根本不可能）。兩地之間距離約為 1061 km。通過計算可知，傳輸需要約 35ms。數據在采集設備與播放設備端需要的采集、編解碼處理與播放緩沖延時計為較高的值，30ms。那么端到端的延時大概需要 65ms。請注意，我們在這里還忽略了音視頻文件本身、系統、光的衰減等因素帶來的影響。 所以，所謂“超低延時”也會遇到瓶頸。在任何實驗環境下都可以達到很低的延時，但是到實際環境中，要考慮邊緣節點的部署、主干網絡擁塞、弱網環境、設備性能、系統性能等問題，實際延時會更大。在一定的網絡條件限制下，針對不同場景選擇低延時方案或技術選型時，就需要圍繞延時、卡頓、音頻質量、視頻清晰度等指標進行權衡與判斷。 作者介紹高澤華，聲網 Agora 音頻工匠，先后在中磊電子、士蘭微電子、虹軟科技主導音頻項目。任職 YY 期間負責語音音頻技術工作。在音樂、語音編解碼方面有超過十年的研發經驗。 (中國集群通信網 | 責任編輯：李俊勇) |
