1.rtcpRTCP的协议实现
2.rtcp概述
3.实时通信WebRTC中RTP/RTCP协议实现分析
4.rtcp协议结构
5.RTP/RTCP RTSP协议讲解
6.实时传输协议RTCP概要

rtcpRTCP的实现

       RTCP的实现包括三个关键部分：包格式、定时规则以及参与者数据库。源码

       包格式

       包括接收者报告（RR）、协议发送者报告（SR）、源码源描述（SDES）、协议退出（BYE）和应用定义的源码双向网格量化源码RTCP包（APP）。通用头由4个字节构成，协议包含版本、源码协议类型和长度信息。协议

       定时规则

       RTCP复合包周期性发送，源码称为报告间隔。协议除了更新源描述和唇同步信息，源码以及期间的协议接收质量统计，所有RTCP活动都按此间隔执行。源码

       参与者数据库

       根据接收到的协议RTCP包建立，用于填充接收报告、维护参与者信息和实现唇同步。数据库记录每个参与者的SSRC，以及接收质量统计等。

       传输规则

       RTCP必须发送复合包，使用奇数端口（通常是RTP端口加1），所有参与者发送和接收复合包，并将反馈发送给所有会话参与者。

       包格式详解

       RR报告接收质量，包括丢失包数、序列号信息和时延统计。

       SR提供发送者媒体信息，用于同步。

       SDES包含可读的参与者详细信息，如电子邮件和电话。

       BYE表示会话成员离开，但不影响会话关系。

       APP用于应用定义的劳模管理源码RTCP包。

       安全与隐私

       SDES传输可能暴露隐私，但CNAME是必需的。

       包验证

       所有包必须是复合包，版本为2，复合包开始的RTCP包必须是SR或RR，且长度需匹配。

       参与者数据库详细信息

       数据库记录了会话配置、参与者SSRC、源描述、接收质量统计和唇同步信息等。

       定时规则详解

       报告间隔根据RTCP带宽分配、包大小和参与者数量动态计算。

       发送策略考虑了首次发送和网络拥塞或离开情况的调整。

       常见实现问题

       包括忽视参与者数量、固定报告间隔导致流量增长、未随机化报告间隔和不正确的包头计算等。

rtcp概述

       RTCP，全称为RTP Control Protocol，是一种与RTP数据包共享传输机制的控制协议。它周期性地将控制信息分发给所有会话参与者，要求底层协议支持数据和控制包的多路发送，例如通过不同的UDP端口号。RTCP的核心功能是提供数据分发的质量反馈，这是RTP传输协议不可或缺的部分，它与流控制和拥塞控制的其他传输协议紧密关联。

       RTCP为RTP源分配一个持久标识符，称为规范名或CNAME。由于SSRC标识符可能会因冲突或程序重启而改变，CNAME对于接收方跟踪每个参与者至关重要。接收方需要CNAME将它与来自特定参与者的一系列相关RTP数据流（如同步的视频和音频）关联起来。

       为了确保所有参与者都能发送RTCP包，且控制发送速率以适应增加的5云源码参与者数量，每个参与者会独立地向其他参与者发送控制信息，以此监控参与者的实时情况。OPTIONAL功能则允许发送最少的会话控制信息，这对于无需成员控制或协商的“松散受控”会话特别有用，如在用户界面显示参与者标识。

       这些功能1-3在所有环境中都适用，特别是IP组播环境，设计RTP应用时应避免创建仅适用于单播且无法扩展的机制。在某些单向链接情况下，接收方可能无法提供反馈，这时RTCP的传输可能由发送方和接收方分别独立控制。

实时通信WebRTC中RTP/RTCP协议实现分析

       RTP/RTCP协议在实时通信WebRTC中扮演关键角色，它们负责流媒体数据的传输格式定义（RTP）和服务质量保障（RTCP）。WebRTC框架中，RTP/RTCP模块负责封装、解包媒体数据，以及传输质量控制。RTP负责实时数据传输，而RTCP则通过统计信息提供流量控制和拥塞控制。

       WebRTC内部的架构涉及多个线程，如Signal和Worker线程，分别处理信令和媒体数据。编码后的视频帧经Capture线程传递给Worker，然后编码为RTP数据包，由Pacer平滑发送至Network进行网络传输。接收端，数据包经网络接收后，通过Worker线程解包，再由Decoder解码和Render渲染显示。

       RTP报文在发送端通过Encoder编码并构造，Pacer负责平滑发送，Network负责实际传输。postconstruct源码解析接收端，网络数据包到达后，由Worker线程处理，解包后进入解码流程。RTP报文的统计信息用于构建RTCP报文，提供服务质量反馈。

       RTCP报文的发送包括周期性发送和与RTP发送同步的即时发送，接收端则解析并利用RTCP信息进行服务质量管理。WebRTC中，RTCP报文的构造、发送和接收过程涉及数据源获取、报文构建、序列化和反馈等步骤。

rtcp协议结构

       RTCP协议的结构主要包括以下几个部分：

Version: 用于识别RTP版本，当前规范的版本值为2，与RTP数据包中的值相同。

P (Padding): 用于填充，当存在时，RTCP包中包含额外的八位位组，不属于控制信息。Padding的最后八位用于计算应忽略的间隙八位位组，也适用于需要固定块大小的加密算法。复合RTCP数据包中，只有最后一个数据包可能需要Padding，因为复合包整体加密。

RC (Receive Report Count): 包含接收方报告块的数量，有效值为0。

Packet Type: 通过常量标识这是一个RTCP SR（发送端报告）数据包。

Length: 包括头和任何间隙，以位字表示数据包大小，减去1，以便计算和避免无限循环。kaldi源码阅读

       RTCP支持五种类型的分组：

SR (Send Report): 发送端周期性发送，包含发送RTP流的SSRC、时间戳、包数和字节数，用于同步媒体流。

RR (Receive Report): 接收端报告，周期性发送，报告RTP流的丢失率、最后一个包的序号、抖动等，帮助调整网络状态和控制通信量。

SDES (Source Description Endpoint): 描述会话参与者，通过规范名CNAME（通常是电子邮件地址的字符串）。

BYE: 结束数据流，用于关闭一个连接。

APP (Application-specific): 允许应用程序定义新的分组类型，扩展协议功能。

       接收端报告和发送端报告都通过多播方式发送，目的是保持网络状态同步，同时控制RTCP流量，使其对应用数据传输的影响保持在合理范围之内。

RTP/RTCP RTSP协议讲解

       流媒体传输领域的核心协议包括 RTP（Real-Time Transport Protocol）、RTCP（Real-Time Transport Control Protocol）和RTSP（Real-Time Streaming Protocol）。

       RTP协议详解

       RTP是一种传输层协议，用于实时数据传输，配合RTCP提供时间戳、序列号等信息，确保流同步。它基于UDP，但也可用于TCP或ATM。RTP保证实时数据传输，但不提供可靠传输或流量控制，这些功能由RTCP负责。RTP的数据包结构包含固定头部和可变负载，包含版本、填充、扩展、CSRC计数、标记、负载类型、序列号、时间戳、SSRC等字段，用于标识数据的顺序和发送源。

       RTCP协议的作用

       RTCP作为RTP的控制协议，负责收集传输质量统计信息，如数据包发送和丢失情况，帮助服务器调整传输策略，优化效率。它通过发送端报告(SR)、接收端报告( RR)、源描述(SDES)、退出通知(BYE)和自定义应用数据(APP)等多种数据报文实现控制。

       RTSP协议简介

       RTSP是应用层协议，定义了多对多应用如何通过网络传输多媒体数据，控制音频和视频流。它位于RTP和RTCP之上，支持TCP或UDP数据传输，与HTTP不同，RTSP是双向的。RTSP用于控制点播流，如播放、暂停、流选择等，并使用SDP描述流媒体资源。

       RTSP交互流程包括客户端向服务器发送请求，如描述流、设置连接等，服务器响应并控制数据流发送。RTSP协议格式采用文本，通过CRLF分隔行，消息包括请求和应答。

       RTSP与RTP的关联

       RTSP不只是RTP的载体，它提供了更高级别的控制，允许双向通信和选择不同的数据传输通道。RTP over UDP和RTP over RTSP的区别在于前者是直接使用UDP传输，后者则是通过RTSP会话并可能使用TCP。RTP数据和RTCP数据在TCP通道中的区别在于前缀和通道编号，RTSP数据没有前缀。

实时传输协议RTCP概要

       RTCP,全称为实时传输控制协议（Real-Time Control Protocol），其核心职责是监控会话的质量并提供参与者实时信息。特别地，RTCP设计之初就考虑到了"松散受控"会话的场景，即在缺乏明确成员管理和组织的环境中，它并不强制用于支持所有应用程序的控制通信需求。RTCP的这种灵活性使得它能够在不需要严格控制的会话中发挥重要作用，确保通信的稳定性和效率。

       RTCP的主要功能集中在对实时通信服务质量的实时监控上，例如数据包丢失率、延迟和抖动等关键指标。通过这些信息，接收端可以评估会话的整体性能，而发送端则可以根据反馈进行调整，以优化通信体验。此外，RTCP还能报告参与会话的参与者信息，如活动状态、带宽使用情况等，这对于网络管理员和开发者来说是非常有价值的反馈。

       总之，RTCP作为一种辅助协议，其作用在于提供会话控制和质量反馈，而不像其他协议那样承担主要的通信任务。在那些不需要严格控制的通信环境中，RTCP的存在使得服务质量的监控和调整变得更加轻松和有效。

RTP协议解析及H/H 音视频RTP打包分析

       实时传输协议（RTP）是一个网络传输协议，由IETF在年公布的，用于在网络上传递音频和视频数据。最初设计为多播协议，但现在广泛应用于单播场景，如流媒体系统（配合RTSP）、视频会议和一键通系统（配合H.或SIP），成为IP电话产业的基础。

       在RTSP会话成功建立并开始传输后，音频和视频数据通过RTP协议打包发送至客户端；RTP协议与RTP控制协议RTCP结合使用，并基于UDP协议构建。

       RTP协议的报头解析如下：

       V：版本号，占据2位，当前版本号为2。

       P：填充标志，占据1位，当P=1时，在报文尾部填充额外的八位组，这些组不是有效负载的一部分。

       X：扩展标志，占据1位，当X=1时，RTP报头后跟有一个扩展报头。

       CC：CSRC计数器，占据4位，指示CSRC标识符的数量。

       M：标记，占据1位，不同有效负载类型有不同的含义，视频标记表示帧结束，音频标记表示会话开始。

       PT：有效载荷类型，占据7位，说明RTP报文中的有效负载类型，如GSM音频、JPEM图像等。

       sequence number：序列号，占据位，标识发送者发送的RTP报文的序列号，每发送一个报文，序列号递增1。接收者通过序列号检测报文丢失情况，重新排序报文并恢复数据。

       timestamp：时间戳，占据位，表示RTP报文第一个八位组的采样时刻。接收者使用时间戳进行延迟和抖动计算，并进行同步控制。

       SSRC：同步信源标识符，占据位，标识同步信源，每个会话独立使用一个随机选择的同步信源标识符。

       CSRC：特约信源标识符，每个CSRC信源占据位，最多可有0-个，数量由CC决定，标识RTP报文有效负载中的所有特约信源。

       在进行H/H RTP打包分析时，需要注意以下几点：

       RTP包头封装：每帧数据包都需添加上述描述的RTP包头，对于每路视频流，RTP包头（序列号除外）基本保持不变。注意发送端数据大小的位填充限制。

       数据流包头：对于H、H、AAC和G，分别在RTP包头后按照格式封装自己的数据头。

       H：一个字节，h：两个字节，aac：四个字节。

       H打包：考虑MTU大小，数据包大小不能超过MTU限制。通常，设备不确切知道当前网络的MTU大小，因此在开发时，参考ffmpeg中给出的大小值。

       H打包：打包过程与H类似，H的数据头为三个字节。

       AAC打包：每帧AAC数据前应包含四个字节的头，格式为RTP包头+AAC字节头+AAC数据。

       参考代码示例：ffmpeg中的rtpenc_h_hevc.c文件中定义的ff_rtp_send_h_hevc函数，将h和h的nalu打包在同一函数中，通过判断语句区分。

rtp和rtcp协议详解

       RTP被定义为传输音频、视频、模拟数据等实时数据的传输协议，与传统的注重的高可靠的数据传输的传输层协议相比，它更加侧重的数据传输的实时性，此协议提供的服务包括数据顺序号、时间标记、传输控制等。

        RTP一般与传输控制协议RTCP一块工作，RTP只负责实时数据的传输，RTCP负责对RTP的通讯和会话进行带外管理（如流量控制、拥塞控制、会话源管理等）。

        RTP使用一个偶数端口号，而相应RTCP流使用下一个(奇数，递增)端口号。

        先来看一下rtp和rtcp网络结构图：

        RTP的数据包由RTP Header + RTP Playload组成，其中RTP固定头如下图所示，字段如下：

        再看一下RTP完整的报文格式：

        再来看看RTCP协议，RTCP协议将控制包周期发送给所有连接者，主要功能如下：

        RTCP协议包括五种类型，这里只讨论SR和RR包。

        SR包（SenderReport）：发送者报告，当前活动发送者发送、接收统计；所谓发送端是指发出RTP数据报的应用程序或者终端，发送端同时也可以是接收端。由三部分组成，也可能还有第四个特定设置扩展部分。

        第一部分为头：8个字节，如下：

        第二部分为发送者信息：个字节，如下：

        第三部分包含接收报告快，大小不固定。每个接收报告块传送单个同步源接收RTP包的统计。发生冲突，当源改变SSRC标识时，接收者并不继续统计。这些统计包括：

        RR包（ReceiverReport）：接收者报告，非活动发送者接收统计，仅作为接收者（只接收rtp包）发送出去的包；所谓接收者是指仅接收但不发送RTP数据报的应用程序或者终端。包类型包含常数，并删除发送者信息的个字节。

        各个字段解释如下：

        最后通过LSR,DLSR可以计算RTT：