1.【unimrcpclient源码分析】mrcp components
2.海康大华等摄像头RTSP低延迟(小于500毫秒)网页播放完全解决方案！协议
3.RTSP流媒体服务器的源码搭建与测试《带源码》
4.解决FFmpeg播放RTSP推送的H265码流报错问题
5.从零开始写一个RTSP服务器（五）RTP传输AAC

【unimrcpclient源码分析】mrcp components

       配置样例包含六个部分。

       函数unimrcp_client_components_load主要负责这六个组件的协议加载，下面详细解析各个组件的源码加载过程。

       加载resource组件时，协议其结构体mrcp_resource_t定义在mrcp_resource.h，源码查看网页源码”字符串使用apt_str_table_item_t（定义在mrcp_resource_loader.c），协议mrcp_resource_loader_t和mrcp_resource_factory_t分别位于mrcp_resource_loader.c和mrcp_resource_factory.c。源码构造mrcp_resource_loader内部是协议mrcp_resource_factory_t *factory，factory通过mrcp_resource_factory_create构建，源码参数为MRCP_RESOURCE_TYPE_COUNT的协议第5个值，整型值为4。源码

       加载sip-uac组件时，协议mrcp_sofia_client_config_t结构体（mrcp_sofiasip_client_agent.c）应用于sofia sip协议栈。源码默认端口和名称设定如下：config->local_port = DEFAULT_SIP_PORT; 默认端口为，协议config->user_agent_name = DEFAULT_SOFIASIP_UA_NAME; 默认agent name为UniMRCP SofiaSIP，config->origin = DEFAULT_SDP_ORIGIN; 默认sdp origin为UniMRCPClient。IP地址配置通过unimrcp_client_ip_address_get（unimrcp_client.c）实现，可配置为“auto”或“iface”。然后使用mrcp_sofiasip_client_agent_create（mrcp_sofiasip_client_agent.c）创建sofiasip_client。

       加载rtsp-uac组件时，指代MRCPv1版本的uac组件。rtsp_client_config_t结构体（mrcp_unirtsp_client_agent.h）用于配置。组件加载通过unimrcp_client_rtsp_uac_load函数完成。

       加载media-engine组件时，配置项仅包含realtime_rate。unimrcp_client_media_engine_load函数负责加载此组件。mpf_engine_t结构体（mpf_engine.c）用于创建mpf_engine，使用mpf_engine_create函数。

       加载rtp-factory组件时，mpf_rtp_config_t结构体（mpf_rtp_descriptor.h）包含可配置项。狂风通用源码unimrcp_client_rtp_factory_load函数用于加载此组件，并通过mpf_rtp_termination_factory_create（mpf_rtp_termination_factory.c）创建相应的工厂。

海康大华等摄像头RTSP低延迟(小于毫秒)网页播放完全解决方案！

       在浏览器中实现播放RTSP实时视频流，需要考虑多种方案以实现低延迟、低成本的多路稳定播放。首先，浏览器插件方案在IE及Chrome 以下版本的浏览器中是主流选择，使用ActiveX播放控件或NPAPI播放插件，可直接调用本地原生程序播放，充分利用硬件解码和硬件加速渲染，实现良好效果。VLC作为开源跨平台多媒体播放器，支持IE、Chrome及Firefox低版本浏览器插件，移动端兼容性也非常好。然而，此方案需要额外安装VLC客户端软件，并对某些场景不适用。

       其次，先转码再转流方案需要架设视频流转码服务器，利用ffmpeg转码串流成RTMP，然后前端使用VideoJS播放Adobe Flash Player。然而，基于Chromium内核的浏览器自年起全面取消了对Flash Player的支持，VideoJS因此失效。当前方案使用flv.js实现，要求服务端先把RTSP视频流转换为flv，然后通过Web Socket或WebRTC推送到前端，前端再转换为Video所支持的源码交付完整MP4播放。这种方案导致RTSP视频流需要经过两次转码，画面延迟时间大幅增加，且长期使用服务器端转码和转流对CPU、内存、网络带宽压力大，成本高，播放高分辨率视频流时经常出现花屏、卡顿现象。此方案要求浏览器支持流媒体扩展特性(MSE)，无法利用本机硬件加速实现解码和渲染播放，适用于移动端网页播放。

       第三，先转流再转码方案通过Streamedian公司的免插件播放器Html5 RTSP Player实现。此方案需要架设Web Socket视频流转发服务器，前端连接到服务器后，服务端不断转发RTSP视频流给前端JS处理库，后端库再转换为Video所支持的MP4播放。此方案不支持IE浏览器，画面延迟高达数秒，首屏显示慢，无法利用本机硬件加速，CPU占用高，播放时存在花屏、卡顿现象，体验差。此方案要求浏览器支持流媒体扩展特性(MSE)，适用于单源播放，多路播放时服务器压力大，且兼容性较差，不适合作为商业用途。现场打卡源码

       扩展程序方案，如基于Chrome浏览器的PPAPI插件技术的VXG RTSP Player，不适用于IE、Firefox等浏览器，且谷歌已宣布将在年6月终止对NaCl、PNaCl和PPAPI API的支持，无讨论价值。双内核方案，如采用Chrome扩展程序IETab实现，存在大规模自主可控部署难问题，IE内核环境下播放控件控制困难，IE兼容性差，用户体验差，维护升级麻烦。

       最后，Wasm方案采用Chrome等高版本浏览器支持的Wasm标准技术，实现RTSP视频流通过ffmpeg的Wasm版软解码为Video支持的MP4播放。Wasm不支持硬件解码，多路播放时终端电脑的CPU和内存占用高，性能差。此方案适用于需要支持H编码的场景，要求浏览器支持流媒体扩展特性(MSE)，实际应用案例较少。

       升级方案集中在实现不转码并充分利用终端电脑硬件加速特性的外接系统。这种系统需要在浏览器网页中实现一个内嵌到网页中的播放窗口，前端可控制播放窗口，并随浏览器窗口操作联动。播放窗口为本地原生程序，采用高性能C++语言开发，利用硬件加速，github公司源码前端通过Web Socket连接播放窗口并发送JSON命令控制播放。市场上已有类似实现的软件，如猿大师中间件，提供全兼容性，包括低版本Chrome和IE浏览器，提供了类似ActiveX控件的安全机制。某视频监控大厂发布的版本采用QT框架，联动效果差，程序包大，未提供前端自动升级和安全调用机制。免插件方案中，外接程序的安全性可通过验证并开放源代码打消顾虑，部署和升级压力小，整体效果优于IE中的ActiveX控件。

       综上所述，本文提供了一个稳定可靠、兼容性好、低延迟且可同时稳定播放多路RTSP的低成本半开源技术方案，特别适用于高分辨率RTSP播放。选择技术实施方案时，需考虑满足客户刚性需求、降低总成本、保证兼容性和稳定性，并确保技术方案不会因浏览器升级而失效。此方案适用于机场、地铁站、交管局等场景，实现低延迟、低成本的多路稳定播放。

RTSP流媒体服务器的搭建与测试《带源码》

       搭建与测试RTSP流媒体服务器，通过C++实现，支持Linux和Windows编译环境，使用VLC客户端进行测试，功能包括RTSP的多种操作、SDP生成、RTP打包和TS文件解析，附带源码分析文档。

       新增功能包括：

       别名功能：通过替换真实的文件名和路径，以更友好、更短的URL发布资源，增强用户体验。

       内容缓存：在多台服务器间传输多媒体文件，提升客户播放内容品质，节约传输成本，优化内容交付路径。

       定制日志：灵活定义信息捕捉规则与时间，支持默认模板或自定义模板，便于系统报告生成。

       SLTA功能：模拟直播传输代理，支持多种流媒体格式，提供更强大的发布方式，实现流媒体直播体验。

       RTSP缓存指示：控制哪些内容应被缓存在Helix Universal Server，提供更大缓存灵活性。

       冗余服务：为内容发布提供等级选择，确保在RealOne Player断开后，可切换至另一服务器连接，保证播放连续性。

       Windows Media流媒体支持：通过MMS协议或HTTP协议向Windows Media Player传输流媒体，支持与Windows Media Encoder的连接，实现多格式流媒体发布。

       MPEG流媒体支持：发布MPEG-1、MPEG-2、MP3及MPEG-4格式内容，确保多种音频与视频格式的兼容性。

       智能流：在保证带宽的前提下，使用智能流优化Real音频或Real视频广播，确保客户端接收合适的码率。

       RealOne Player统计：增强客户统计状态，返回更详细信息，利用TurboPlay功能优化播放体验。

       搭建网络直播电视，支持多种流媒体格式，如音频文件（RealAudio、Wav、Au、MPEG等）、视频文件（RealVideo、AVI、QuickTime等）及其他类型内容，通过Helix Producer将不支持的文件转换为可支持的格式。

       提供多种服务模式，包括点播、直播与模拟直播，满足不同场景需求。Linux环境下安装配置，包括域名或IP地址绑定、加载点配置、服务器连接控制、访问控制与服务器监控，确保系统稳定运行。

       RTSP流媒体服务器通过避免视频文件被浏览器通过HTTP下载，优化了内容传输效率。建议在中小型视频点播服务中使用RAID 5，以提升数据安全性和读取速度，同时控制成本。提供丰富文档、问题解答、学习资源、资料视频与源码分享，支持C/C++、Linux、Nginx、golang等技术栈学习与实践。

解决FFmpeg播放RTSP推送的H码流报错问题

       RTSP，实时流传输协议，常用于传输视频流。许多流媒体平台，如B站的ijkplayer，都是基于FFmpeg的FFplay内核。我曾分享过关于使用RTSP推送H码流的文章，包括本地拉流和编码时的推流显示。然而，当尝试使用FFplay处理RTSP推送的H码流时，遇到了报错"illegaltemporal ID in RTP/HEVC packet"。

       这个错误提示指向了H的NALU Header中的temporal ID问题。FFmpeg的源码检查了这个值，如果为0，会报错。H标准规定temporal ID不能为0，因此这个检查是合理的。问题可能出在RTP封装过程，而非原始码流，因为本地H码流的NALU Header值并不是0。

       为了解决这个问题，我深入研究了RTP封装H裸流的原理，发现在HSource.cpp的HandleFrame函数中，处理NALU数据时忽略了起始码。修正这一逻辑后，成功用FFplay播放了RTSP推送的H视频，尽管与VLC的播放效果相比稍有卡顿。FFplay播放的命令行参数包括指定窗口名称和分辨率。

       总结来说，通过问题定位和源码解析，我解决了FFplay在处理RTSP H码流时的报错，实现了本地H视频的正确播放。这个过程对理解FFmpeg工作原理和RTSP封装有帮助。

从零开始写一个RTSP服务器（五）RTP传输AAC

       本文目标：实现通过VLC播放SDP文件并听到AAC音频。

       1. RTP封装与发送

       虽然前面已介绍过，但为了回顾，这里再次提及。RTP数据包由头部和载荷组成，我们构建了一个结构体来代表RTP头部，并创建了发送包的函数。RTP头部的细节请参考之前关于RTSP协议的文章。

       下面是RTP包和发送函数的实现，其中使用htons函数来确保网络字节序（大端模式）的正确性：

       rtp.h 和 rtp.c 文件在此部分频繁使用。

       2. AAC RTP打包

       AAC音频以ADTS帧的形式存在，每个ADTS帧有特定的7字节头部，包含了帧大小信息。将AAC帧的头部和数据分开，仅保留AAC数据部分，每帧打包成一个RTP包。RTP载荷前四个字节有特殊含义，后面是AAC数据，大小在第三个和第四个字节中用位表示。

       3. AAC SDP媒体描述

       媒体描述的SDP格式包括"M="行，指定音频类型、端口、传输协议和负载类型。例如，`m=audio RTP/AVP `，表示音频流使用号负载类型（AAC）。详细SDP内容可参考RTSP协议讲解。

       4. 测试与操作

       将源代码（rtp.c、rtp.h 和 rtp_aac.c）与sdp文件(rtp_aac.sdp) 保存，使用test.aac作为音频源。编译并运行程序，确保运行时的IP地址与SDP中指定的目标地址一致，然后通过VLC加载SDP文件，即可听到音频。后续文章将介绍如何构建完整的AAC RTSP发送服务器。