皮皮网

1.FFmpeg 解码 API 以及在解码过程中存在的旋转旋转丢帧问题
2.理解ffmpeg
3.这是fluent-ffmpeg的bug吗
4.ffmpeg 利用AVIOContext自定义IO 输出结果写buffer
5.FFMPEG详解(完整版）
6.FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx

FFmpeg 解码 API 以及在解码过程中存在的丢帧问题

       在优化视频客观全参考算法时，我们利用FFmpeg提供的源码API对输入的MP4文件进行转码为YUV格式。然而，视频转码后总会出现丢失视频最后几帧的旋转旋转现象。为解决此问题，源码我们深入研究了FFmpeg的视频金字塔波段交易系统源码源码及网络资料，最终总结出了解码过程中的旋转旋转关键点。

       FFmpeg提供了新的源码编解码API，从3.1版本开始，视频这一API实现了对输入和输出的旋转旋转解耦，同时之前的源码API被标记为deprecated。在我们的视频工具中，采用了新的旋转旋转解码API（avcodec_send_packet()和avcodec_receive_frame()）来实现视频帧的解码。然而，源码一个帧的视频视频实际只解码出帧，导致了丢帧问题。

       为理解解码API的工作机制，我们查阅了FFmpeg的代码，并发现了问题所在。FFmpeg的注释指出，解码器内部可能缓存多个frames/packets，因此在流结束时，需要执行flushing操作以获取缓存的frames/packets。我们工具中未执行此操作，导致了丢帧现象。通过补充flushing逻辑，问题得到解决。

       在FFmpeg的源码中，`avcodec_send_packet()`的返回值主要有三种状态，而`avcodec_receive_frame()`的返回值也分为几种情况。这些返回值定义了解码器的不同状态，整个解码过程可以看作是一个状态机。通过理解API的调用和返回值，我们可以实现正确的状态转移，避免丢帧问题。

       为了修复丢帧问题，我们需要确保在解码过程中的libnss3源码状态转换逻辑正确无误。如果实现中忽略了某些状态，就可能导致无法获取视频的最后几帧。通过分析和调整状态机，可以确保解码过程的完整性和准确性。

       总结：通过深入研究FFmpeg的编解码API及其使用规范，我们解决了在视频转码过程中出现的丢帧问题。关键在于正确执行flushing操作以获取解码器缓存的frames/packets，并理解解码过程的状态机模型，确保状态转换逻辑的正确性。

理解ffmpeg

       ffmpeg是一个全能的音频和视频处理软件，支持录制、转换、流媒体等功能。

       名为“FFmpeg”的软件，其中“FF”代表快速播放，对应于“Fast Forward”。该软件的全名实际上是“ff + mpeg”，读音为“艾辅艾辅败克”。其官方网站是 ffmpeg.org，提供中文文档。

       在 CentOS 系统中，可以通过命令行使用 yum 命令进行 ffmpeg 安装。安装后，您可以在 /usr/lib 路径下找到ffmpeg库。

       ffmpeg安装完成后，您会得到三个工具，还有提供给开发者编码开发的系列库。

       ffmpeg源码是开源的，您可以直接访问源码。

       FFmpeg核心是用C语言编写，它利用底层操作系统和硬件功能处理音频和视频，包括解码、编码、封装、解封装等，这正是指标吸筹源码选择C语言的原因。

       FFmpeg的Libavutil库包含通用的实用工具和基本功能，如时间戳处理、时间间隔计算、字节流处理、颜色空间转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavcodec库是处理音频和视频编解码的库，提供丰富的编码器和解码器功能，包括设置编码参数、处理编码器选项、帧格式转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavformat库用于音视频的封装和解封装，支持多种音视频容器格式，如AVI、MP4、MKV等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavdevice库允许与音视频设备交互，进行音频和视频采集与播放。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavfilter库提供音视频滤镜处理功能，包括裁剪、缩放、旋转、色彩调整等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswscale库用于图像缩放和颜色空间转换，对视频帧进行大小调整、像素格式转换和色彩空间转换等操作。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswresample库提供音频重采样和格式转换功能，对音频数据进行采样率、通道布局和样本格式的转换。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       要读取mp4文件，您需要引用ffmpeg库，并按照文档说明执行代码。以下是一段示例代码，用于读取互联网上的mp4文件。

       执行此代码后，输出结果将显示关键函数调用的逻辑。

这是逐梦鲨鱼源码fluent-ffmpeg的bug吗

       在使用fluent-ffmpeg处理视频时，遇到了ffprobe方法无论添加什么选项都只返回视频的元信息的问题。通过图示和代码查看，发现是fluent-ffmpeg内部的ffprobe.js文件中默认添加了'-show_streams'和'-show_format'选项，且这些默认选项与用户自定义的选项进行合并。在spawn执行事件监听中，确实能获取到添加的命令参数的输出，但问题是解析输出的函数parseFfprobeOutput只处理了stream、chapter、format信息，未包含其他所需信息。

       解决办法是修改while循环中的代码，新增一个if...else结构。修改前代码处理了默认选项和用户自定义选项的合并及解析输出，修改后则需针对特定信息增加处理逻辑。手动修改fluent-ffmpeg源代码虽然解决了问题，但每次安装都需重新修改，颇为麻烦。为了解决这一问题，可以采用patch-package工具进行打补丁操作，或通过代码编辑工具自动修改代码，只需在适当位置引入补丁代码即可。

ffmpeg 利用AVIOContext自定义IO 输出结果写buffer

       在工程开发中，利用ffmpeg进行音频转码的需求普遍存在。本文介绍如何利用ffmpeg c api实现音频数据直接存入缓存中，供下一个模块使用，以避免文件落地。通过在ffmpeg示例文件transcoding.c的基础上增加输出结果写入buffer的功能，我们解决了音频数据输出时长和文件大小的问题。以下是对此流程及问题解决的详细说明。

       在ffmpeg处理音视频的完整流程中，音频文件经分离器分离出音频流后，通过解码器解码为原始的音频帧。这些帧可进一步经过过滤操作如声道切分或降频，然后编码为新的packet。封装器将这些packet打包输出到文件中。通过理解ffmpeg的肖中特源码架构和流程，我们可以更直观地理解如何在不落盘的情况下，直接将转码后的音频数据写入buffer。

       在具体的编码流程中，我们可以看到一个典型的例子：将封装了aac编码音频流和h编码视频流的mp4文件进行解码。ffmpeg的AVFormatContext类用于读取文件，并分离出音频流和视频流，然后将数据块AVPacket解码为无压缩的AVFrame。

       转码过程涉及将一种编码转换为另一种编码，以满足不同需求。在我们的应用场景中，我们实现了从h到h的转码，确保音频数据在不落盘的情况下被有效处理。

       对于转封装格式，即从一种容器格式转换为另一种容器格式，如从mp4转换为flv，转换过程中无编解码过程，仅进行容器格式的拷贝。

       在编译ffmpeg源代码时，我们可能会遇到各种问题，如本地运行时的注意事项和设置，以及如何在main()函数中打印ffmpeg的日志。在对transcoding.c进行修改以实现音频数据输出到buffer的过程中，我们发现了两个主要问题：音频数据输出时长和文件大小的偏差。

       经过问题排查，我们发现使用ffmpeg custom IO接口自定义输出形式时，需要同时提供write()和seek()两个函数。这两个函数对于正确计算并更新音频数据的有效时长至关重要。同时，我们发现输出到buffer中的音频数据未被限定有效长度，导致文件末尾出现大量无效数据。解决这些问题后，我们的代码能够按预期工作。

       在实际应用中，代码的修改和问题解决遵循了ffmpeg api的正确使用规则，确保了音频数据在转码过程中的准确性和效率。经过修复后的代码实现了音频数据不落盘的高效处理，满足了特定场景的需求。

       在最后，附上完整的代码片段，供参考和使用。

FFMPEG详解(完整版）

       FFMPEG详解

       FFMPEG是自由软件中最完备的多媒体支持库，几乎涵盖了所有常见数据封装格式、多媒体传输协议以及音视频编解码器。对于多媒体技术开发工程师来说，深入研究FFMPEG是必不可少的。它的重要性如同kernel之于嵌入式系统工程师。FFMPEG的大部分代码遵循LGPL许可证，少部分遵循GPL许可证，因此其被广泛应用于各种第三方播放器和商业软件中，但需要注意在商业应用中可能涉及专利风险。

       FFMPEG功能分为多个模块，如核心工具、媒体格式、编解码、设备和后处理模块，分别提供公用功能函数、实现多媒体文件读写、音视频编解码、设备操作以及音视频后处理。

       FFMPEG提供命令行工具ffmpeg，其使用方法包含三部分：全局参数、输入文件参数、输出文件参数，每组输入参数以‘-i’结束，每组输出参数以文件名结束。

       在使用FFMPEG时，需要熟悉基本选项、流标识、音频选项、视频选项等，同时，FFMPEG支持多种滤镜和高级选项，实现特定用例。

       编译FFMPEG时，通过configure脚本实现定制和裁剪，以适应不同系统和需求。configure脚本生成的config.mak和config.h文件在Makefile和源代码层次上控制编译过程。

       深入FFMPEG示例程序包括解码功能，实现复杂多媒体播放器的基础解复用、解码、数据分析过程。用户接口涉及数据结构、编解码器、媒体流和容器等概念，通过FFMPEG提供的AVFormatContext、AVStream、AVCodecContext等结构进行抽象。

       时间信息在FFMPEG中用于实现多媒体同步，包括流内和流间同步。FFMPEG通过AVPacket结构为每个数据包打上时间标签，支持上层应用的同步机制。时间信息的获取和操作对于多媒体应用至关重要。

       FFMPEG的API分为读系列、编解码系列和写系列，实现媒体数据的获取、编码、解码和输出。关键函数包括avformat_open_input、avformat_find_stream_info、av_read_frame等，用于文件输入、流信息查找和数据读取。

       FFMPEG支持过滤链，通过AVFilter、AVFilterPad和AVFilterLink实现视频帧和音频采样数据的后续处理，如图像缩放、增强和声音重采样。

       综上所述，FFMPEG是多媒体开发工程师不可或缺的工具，其功能强大且适用范围广泛，深入理解FFMPEG对于开发高性能多媒体应用至关重要。

FFmpeg开发笔记（十三）Windows环境给FFmpeg集成libopus和libvpx

       本文将指导读者在Windows环境下，如何为FFmpeg集成libopus和libvpx，进而支持Opus音频编码与VP8/VP9视频编码。首先，介绍libopus的集成步骤。libopus是用于语音交互和音频传输的编码标准，其编解码器为libopus。下载最新版libopus源码，解压后执行配置命令./configure --prefix=/usr/local/libopus。接着，编译并安装libopus，确保环境变量PKG_CONFIG_PATH已包含libopus的pkgconfig路径。

       随后，转向libvpx的集成。libvpx是VP8和VP9视频编码标准的编解码器。下载最新libvpx源码，解压并配置./configure --prefix=/usr/local/libvpx --enable-pic --disable-examples --disable-unit-tests，确保使用了--enable-pic选项以避免在编译FFmpeg时的错误。编译、安装libvpx后，同样更新PKG_CONFIG_PATH环境变量。

       为了在FFmpeg中启用libopus和libvpx，需要重新编译FFmpeg。确保所有相关库的pkgconfig路径已加载至环境变量PKG_CONFIG_PATH中。通过命令./configure --prefix=/usr/local/ffmpeg --arch=x_ --enable-shared --disable-static --disable-doc --enable-libx --enable-libx --enable-libxavs2 --enable-libdavs2 --enable-libmp3lame --enable-gpl --enable-nonfree --enable-libfreetype --enable-sdl2 --enable-libvorbis --enable-libopencore-amrnb --enable-libopencore-amrwb --enable-version3 --enable-libopus --enable-libvpx --enable-iconv --enable-zlib --extra-cflags='-I/usr/local/lame/include -I/usr/local/libogg/include -I/usr/local/amr/include' --extra-ldflags='-L/usr/local/lame/lib -L/usr/local/libogg/lib -L/usr/local/amr/lib' --cross-prefix=x_-w-mingw- --target-os=mingw重新配置FFmpeg，启用libopus与libvpx功能。接着，执行编译与安装命令，完成FFmpeg的集成。

       最后，通过命令ffmpeg -version检查FFmpeg版本信息，确认是否成功启用libopus与libvpx。至此，FFmpeg已成功在Windows环境下集成了libopus和libvpx，支持Opus音频编码与VP8/VP9视频编码。此过程为视频处理应用提供了更丰富编码格式支持，提高了FFmpeg的多功能性与适应性。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。