皮皮网

1.macos系统上调试FFmpeg的源码三种方式
2.音视频流媒体高级开发实战教程基础入门到高级进阶 （FFmpeg6.0/WebRTC/RTMP/RTSP/编码解码）
3.FFmpeg 学习(五)：FFmpeg 编解码 API 分析
4.调试经验Ubuntu FFmpeg开发环境搭建
5.踩坑ffmpeg录制的mp4无法在浏览器上播放
6.FFmpeg之Linux下编译与调试

macos系统上调试FFmpeg的三种方式

       macOS系统上调试FFmpeg的三种途径

       FFmpeg作为一款强大的多媒体处理框架，其与现代技术的调试结合需求使得调试变得至关重要。本文将指导你如何在macOS上单步调试FFmpeg的源码代码，以深入理解程序运行和定位问题。调试

       首先，源码理解调试的调试附近商家源码实例重要性。通过调试，源码你可以跟踪程序执行流程，调试直观地观察变量变化，源码这对于理解代码逻辑和定位bug极其有用。调试尽管阅读源码可以提供基础理解，源码但动态调试能让你实时操作代码，调试提高效率。源码

       在macOS上进行调试，调试你需要从下载FFmpeg源码开始。源码通过Git或直接下载压缩包，确保你的开发环境具备查看源码的工具，如Source Insight、Sublime Text或VS Code等。对于不熟悉的人来说，这可能需要一些软件基础的学习。

       在编译FFmpeg时，建议使用Xcode，因为它自带的编译器会简化过程。即使你选择不使用Xcode，gdb和lldb也是调试工具的选择。在编译时，取消优化选项可以方便调试，然后只需运行make命令即可。make clean用于清理上一轮编译，make install则会安装FFmpeg，但对调试来说无必要。

       接下来，可以使用gdb进行命令行调试，通过ffplay的调试版本来切入。理解带_g的程序是调试用的，能提供更多的调试信息。而在Xcode中，通过创建新项目，引用FFmpeg库，添加符号信息，你可以在main函数上设置断点，直接跳转到FFmpeg的源码进行调试。

       总的来说，调试FFmpeg在macOS上有多种方式，源码后面B无论你选择哪种，关键在于熟悉工具和配置，以便更有效地进行代码探索和问题解决。

音视频流媒体高级开发实战教程基础入门到高级进阶 （FFmpeg6.0/WebRTC/RTMP/RTSP/编码解码）

       全面掌握音视频处理技术，从基础到高级，从理论到实践，成为音视频领域的专家！

       深入探讨FFmpeg实战，详细讲解编码解码技术。从开发环境搭建到FFmpeg命令实战，再到FFmpeg过滤器实战，一步步深入，让你全面掌握音视频处理技能。

       录制视频内容包括音视频基础、录制原理、播放原理、图像表示、主要概念、音频基础知识，以及封装格式、同步等。

       开发环境搭建涵盖了不同操作系统，如Mac、Ubuntu、Win的FFmpeg安装、QT和xcode的安装与调试。

       FFmpeg命令实战分为入门级到高级阶段，从命令行环境搭建到命令分类查询、播放控制、音视频处理流程等，深入理解FFmpeg命令。

       SDL音视频渲染实战，从Windows平台开发到显示、事件、线程、PCM和YUV处理，为音视频渲染打下坚实基础。

       FFmpeg基础全面了解，涉及内存模型、实战应用，让你深入理解FFmpeg内部机制。

       FFmpeg解封装+解码实战，详细分析音视频格式如AAC_ADTS、H_NALU、客源源码FLV等，并进行实战操作。

       FFmpeg编码+封装实战，从音频处理、H编码原理、视频编码，到MP4合成，涵盖音视频合成的各个环节。

       FFmpeg过滤器实战，从视频、音频过滤到与视频互转，掌握音视频处理的高级技巧。

       FFmpeg播放器剖析，从ffplay.c的意义、框架、数据结构、播放流程，到音视频同步、快进快退等特性，全面理解播放器工作原理。

       FFmpeg+QT播放器实战，从项目分析到界面设计、播放器模块分析，再到打通UI到播放器核心的通道，深入QT与FFmpeg集成。

       ffmpeg媒体转换器实战，掌握ffmpeg命令行转换音视频格式的技巧。

       RTMP流媒体实战，搭建服务器，剖析RTMP协议，推流与拉流操作。

       HLS流媒体实战，配置服务器，解析协议，进行拉流操作。

       RTMP/HLS/HTTP-FLV流媒体服务器分析，从SRS服务器开发概述到HTTP-FLV配置，了解流媒体服务器的推流、拉流与多码率支持。

       RTSP流媒体实战，搭建服务器，理解RTSP协议与RTP、RTCP协议，实现推流与拉流功能。维保源码

       WebRTC中级与高级专题，从WebRTC基础原理、开发环境搭建、音视频采集到音视频通话实现与优化，再到开源项目与P2P框架实现。

       WebRTC高级-Janus二次开发，深入学习Janus服务器的环境搭建、框架分析，掌握WebRTC的信号处理与会议功能。

       WebRTC高级-SRS4.0，从环境搭建到配置支持WebRTC推拉流、ICE交互、DTLS握手、SRTP加密传输，实现WebRTC的高级功能。

       Android NDK开发，从So库适配、JNI与NDK集成、CMake与ndk-build使用，到ffmpeg与ijkplayer编译与集成，实现跨平台的音视频处理。

FFmpeg 学习(五)：FFmpeg 编解码 API 分析

       在深入探讨FFmpeg的编解码API之前，我们需要先回顾一下前文FFmpeg学习(四)中对API基本概念的介绍以及对通用API的分析。本文将专注于解析FFmpeg在处理编解码时所采用的API。

       让我们从FFmpeg的解码API开始分析。

       一、FFmpeg解码API解析

       1. avformat_open_input分析

       此函数通过文件路径判断文件格式，决定使用哪个Demuxer。例如，对于flv格式，将使用对应的ff_flv_demuxer。接下来，关键生命周期的方法如read_header、read_packet、read_seek、read_close将使用该flv Demuxer中指定的函数。read_header构建了AVStream结构体，便于后续操作。

       2. avformat_find_stream_info分析

       此方法填充所有流的MetaData信息。它首先查找对应的解码器，打开解码器后，通过Demuxer中的read_packet函数读取数据进行解码。网络资源的解码过程较慢，可通过参数控制读取数据长度，源码分析利器从而加快执行速度但可能导致AVStream结构体信息不准确。

       3. av_read_frame分析

       该方法接收AVPacket数据，处理无法被解码器完全处理的情况，通过委托Demuxer的read_packet方法并进行数据缓冲。视频流中，每个AVPacket仅包含一个AVFrame，音频流可能包含多个。

       4. avcodec_decode分析

       包含视频和音频解码两部分。打开解码器时找到了对应解码器实现，如H解码器ff_h_decoder，包含init、decode、close方法，分别对应打开、解码和关闭解码器操作。

       5. avformat_close_input分析

       释放资源，调用Demuxer的read_close方法，释放AVFormatContext，关闭文件或远程链接。

       二、FFmpeg编码API解析

       1. avformat_alloc_output_context2分析

       内部调用avformat_alloc_context分配AVFormatContext，根据注册的Muxer和Demuxer找到封装格式。若找不到对应格式，则返回错误。使用av_err2str转换错误代码为可读字符串，用于调试。

       2. avio_open2分析

       调用ffurl_open构造URLContext，通过avio_alloc_contex分配AVIOContext，将URLContext传递，将AVIOContext赋值给AVFormatContext属性。

       三、总结与超时设置

       编码API与解码API逻辑相反，理解二者之间的关系有助于深入FFmpeg API。编码过程中的avformat_new_stream和avformat_write_header与解码过程中的read_header形成对照。

       关键点在于避免阻塞式操作，可通过设置超时时间或定义中断回调机制。对于不同协议，超时设置方法各异。设计机制时，需注意平衡超时时间与线程阻塞问题。

       深入研究FFmpeg编解码API，不仅可以提升对音视频处理的理解，还能优化应用性能。推荐学习资料与技术分享，助力开发者掌握FFmpeg高级开发技能。

调试经验Ubuntu FFmpeg开发环境搭建

       在Ubuntu ..2 LTS系统上搭建FFmpeg 6.0开发环境的步骤如下：

       1. 创建项目目录

       在项目根目录下创建三个文件夹，可手动或通过终端命令行操作：

       2. 安装依赖库

       确保软件列表是最新的，执行 `sudo apt-get update`。然后，通过终端安装必要库：

       3. 选择性编译和安装

       根据需求选择性安装，例如，若无需libvpx，可跳过相应库的安装。多核系统建议使用`make -j`加速编译，例如`make -j4`。编码库可安装在主目录，但需修改环境变量HOME。

       NASM

       在终端执行相关NASM安装命令。

       编译特定库

       libx: H.编码，配置--enable-gpl --enable-libx，源码编译

       libx: H./HEVC编码，配置--enable-gpl --enable-libx，源码编译

       libvpx: VP8/VP9编码，配置--enable-libvpx，源码编译

       libfdk-aac: AAC音频编码，配置--enable-libfdk-aac（可能需要--enable-nonfree），源码编译

       libmp3lame: MP3音频编码，配置--enable-libmp3lame，源码编译

       libopus: Opus音频编解码，配置--enable-libopus，源码编译

       4. 安装FFmpeg

       直接在终端运行FFmpeg编译安装命令，重启后确认安装路径。

       5. 确认和测试

       检查ffmpeg版本和配置，通过`ffplay`命令测试其功能（在Ubuntu图形界面进行）。

       6. 调试

       调试时，需使用包含调试信息的版本ffmpeg_g，通过清理和重新配置config选项启用Debug功能。

踩坑ffmpeg录制的mp4无法在浏览器上播放

       在游戏引擎集成ffmpeg源码用于录制游戏视频时，遇到了一个令人困惑的问题：录制的mp4格式视频无法在浏览器上播放。初步尝试修改了代码以实现录制mp4格式，结果视频在网页端播放失败。通过一系列的调试，发现关键问题出在格式转换上。将游戏录制的mp4文件转换为h编码后，视频在浏览器上得以正常播放。然而，仅仅转换格式未能解决原始问题。

       为了深入了解问题所在，我们使用了ffprobe工具来获取视频的详细信息，并通过对比原始录制的mp4文件与转换后的h文件，发现原始文件中缺少了必要的codec_tag字段。codec_tag是用于标识编解码器的标签，对于播放器识别正确的解码器至关重要。通过手动设置该字段，问题得到初步解决，但仍有其他未解决之处。

       进一步分析发现，调用avcodec_find_encoder接口时，传入的格式为mpeg4，而非预期的h。解决这一问题后，我们发现pts（呈现时间戳）和dts（到达时间戳）在视频帧数据中缺失，这导致播放时出现卡顿现象。通过手动为pts和dts赋值，播放速度恢复正常。

       在深入研究后，我们了解到在调用avformat_alloc_output_context2接口时，未指定输出格式，从而让ffmpeg自动选择格式。这一改变使得录制的视频包含pts和dts，解决了播放问题。然而，自动选择的格式为mpeg4，而非预期的h。修改接口以指定输出格式后，问题最终得到解决。

       总结而言，录制mp4视频在浏览器播放失败的问题，关键在于ffmpeg处理视频格式、编码器选择以及视频帧数据的pts和dts标签。通过逐步调试和分析，我们不仅解决了当前问题，还加深了对ffmpeg工具的理解。这不仅涉及到编码格式的正确使用，也涉及到了视频播放所需的额外信息（如codec_tag、pts、dts等）的正确处理。在解决技术难题时，深入的调试、代码分析以及利用适当的工具进行辅助，都是至关重要的步骤。

FFmpeg之Linux下编译与调试

        下面的一切都是在 root 模式下进行的，可以不再 root 模式下进行

        基础环境就是编译代码的基础库，Ubuntu联网安装软件很简单，一个语句即可搞定，这里列出语句如下：

        依赖库分两方面，参考以下网站列出的依赖库信息，本文选择的版本均参考于此网页: FFmpeg依赖库信息

        首先创建 FFmpeg 代码目录，所有的源代码放在这个目录下

        FFmpeg 编译之后，即可使用。编译生成的可执行程序在 ~/bin 目录下

        注：上面的 ./configure 配置编译后并不能进行调试，需要如下配置.

        刚才的工程可以运行，但不能debug。解决此问题，首先认定一点，生成的可执行程序中，ffmpeg 不包含调试信息，调试信息在 ffmpeg_g 中,debug 要选择 ffmpeg_g。

        另外，./config选项也是确定包含调试信息的核心，需要在config中添加：

        采用以下命令重新config:

        一些注意事项； 在使用 ffplay 播放生成 h 格式的视频时，播放速度会加快，解决方式：不要使用 FFmpeg 转码生成纯 h 格式的视频，要使用一种容器包含 h 视频，即生成一种音视频流格式，也就是不要生成纯粹的 h 码流，而是生成诸如 mkv 等格式的文件。

FFmpeg视频播放器开发-FFmpeg简介与项目环境搭建(一)

       前言：在众多视频开发库中，微软的DirectShow、开源库OpenCV、SDL以及大华和海康的专属库等都是不错的选择。然而，FFmpeg在音视频领域具有举足轻重的地位。众多软件如迅雷、腾讯视频、QQ、微信、QQ音乐、暴风影音、爱奇艺、优酷和格式工厂等都采用了FFmpeg技术。

       QQ客户端

       腾讯视频

       爱奇艺客户端

       FFmpeg的流媒体视音频编解码功能十分强大，几乎涵盖了所有的视音频编码标准。因此，只要涉及到视音频开发，几乎都离不开FFmpeg。

       关于FFmpeg的博客和源码讲解有很多，其中雷神的博客最为知名。本系列教程在讲解过程中也会引用到其他人的研究成果，以便我们站在巨人的肩膀上。如有不当或错误之处，请各位朋友及时指出。

       本教程是在Windows下的VS + Qt环境中开发。对于Linux或Mac操作系统，部分代码可以借鉴，但环境配置会有所不同。

       一、配置Windows下FFmpeg开发环境

       1.1 FFmpeg下载

       官网链接：ffmpeg.zeranoe.com/buil...

       可以下载最新版本或以前的版本，例如4.0版本。选择4.0版本后，依次下载Static、Share、Dev三个文件。位版本的三个文件如下：

       Dev文件夹下包含include和lib文件

       Shared文件的Bin目录包含ffmpeg的dll

       1.2 在VS中配置FFmpeg

       FFmpeg在VS中的配置很简单，只需按照常规SDK配置方式操作，开发时只需包含include、lib和bin目录中的文件。例如，创建一个C++控制台程序，右键点击项目名--属性。

       （1）添加头文件目录

       （2）添加lib目录

       （3）在附加依赖项中填写lib名称

       附上各个lib的名称，方便大家粘贴。

       （4）将ffmpeg bin目录下的dll文件放入生成的exe所在目录，方便使用。关于/位版本的选择，请自行决定。

       二、VS和Qt的安装

       本教程以Qt作为界面库进行播放器开发。Qt相对于MFC来说，学习起来更简单，并且可以跨平台，适用于Linux和Mac程序的开发。我将Qt安装在VS中，因为VS调试方便，功能强大。

       如果Qt和VS都安装好了，请继续阅读下一篇博客。如果Qt没有安装好，可以参考网上的安装方法。

       三、软件界面与主要功能

       本地视频播放

       网络拉流

       菜单项

       播放器的基本功能都有，如双击放大全屏、视频进度拖拽、音量调整等。其他功能将逐步更新。

       源码将在第五六篇博客中上传到github。

       工欲善其事，必先利其器。环境配置完成后，下一篇文章将开始FFmpeg开发之旅。

       首先，恭喜您能认真阅读到这里。如果对部分内容理解不太清楚，建议将文章收藏起来，查阅相关知识点后再进行阅读，这样您会有更深的认知。如果您喜欢这篇文章，请点赞或关注我吧！！

使用VS在win7 x上编译调试FFmpeg（附源码和虚拟机下载）

       在探索使用VS在win7 x系统上编译调试FFmpeg的过程中，我们面临了一系列挑战。基于先前在win+VS环境下的经验，ShiftMediaProject配置方法类似，但编译过程中会遇到更多问题。经过仔细排查，我们成功解决了这些问题，为源码调试铺平了道路。

       配置过程首先涉及下载ShiftMediaProject，这部分细节可参照先前的教程。通过直接复用已经下载好的源码包，进行安装操作，我们避免了重复劳动。

       接下来，我们面对的是编译错误的挑战。在win7上使用VS编译ShiftMedia时，我们遇到了未找到方法[MSBuild] NormalizePath、未定义标识符DXVA_PicParams_VP9以及未找到 stddef.h 等头文件的问题。针对这些错误，我们采取了一系列解决策略。对于[MSBuild] NormalizePath问题，我们通过修改ShiftMediaProject\source\VSNASM asm.targets文件，将不一致的MSBuild版本兼容性问题予以解决。面对未定义标识符DXVA_PicParams_VP9，我们采用宏关闭不使用的定义和引用，以适应win7系统特有的代码环境。最后，为了解决未找到 stddef.h 头文件的难题，我们确认并安装了对应的Windows SDK版本.0..0，确保开发环境的完整性。

       配置完成后，我们提供了一个可成功编译的FFmpeg源码包下载链接。关注公众号Qt未来工程师，通过后台回复获取下载地址。同时，我们还提供了可直接调试FFmpeg的虚拟机下载，同样关注该公众号并通过后台回复获取。

       至此，无论是win7还是win平台上的FFmpeg源码调试环境，都已经搭建完成。源码调试的准备工作至此全面完成，为后续深入探索FFmpeg的各项功能和特性提供了坚实的基础。