1.FFmpeg源码分析：视频滤镜介绍(上)
2.FFmpeg源码分析: AVStream码流
3.[推理部署]🤓opencv+ffmpeg编译打包全解指南
4.FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg
5.理解ffmpeg
6.Ubuntu系统-FFmpeg安装及环境配置

FFmpeg源码分析：视频滤镜介绍(上)

       FFmpeg在libavfilter模块提供了丰富的源码音视频滤镜功能。本文主要介绍FFmpeg的源码视频滤镜，包括黑色检测、源码视频叠加、源码色彩均衡、源码去除水印、源码诛仙3源码修改版抗抖动、源码矩形标注、源码九宫格等。源码

       黑色检测滤镜用于检测视频中的源码纯黑色间隔时间，输出日志和元数据。源码若检测到至少具有指定最小持续时间的源码黑色片段，则输出开始、源码结束时间戳与持续时间。源码该滤镜通过参数选项rs、源码gs、bs、rm、gm、bm、rh、gh、bh来调整红、绿、蓝阴影、基调与高亮区域的色彩平衡。

       视频叠加滤镜将两个视频的所有帧混合在一起，称为视频叠加。顶层视频覆盖底层视频，输出时长为最长的视频。实现代码位于libavfilter/vf_blend.c，通过遍历像素矩阵计算顶层像素与底层像素的混合值。

       色彩均衡滤镜调整视频帧的RGB分量占比，通过参数rs、gs、bs、rm、gm、bm、rh、gh、bh在阴影、基调与高亮区域进行色彩平衡调整。基于layui源码

       去除水印滤镜通过简单插值抑制水印，仅需设置覆盖水印的矩形。代码位于libavfilter/vf_delogo.c，核心是基于矩形外像素值计算插值像素值。

       矩形标注滤镜在视频画面中绘制矩形框，用于标注ROI兴趣区域。在人脸检测与人脸识别场景中，检测到人脸时会用矩形框进行标注。

       绘制x宫格滤镜用于绘制四宫格、九宫格，模拟画面拼接或分割。此滤镜通过参数x、y、width、height、color、thickness来定义宫格的位置、大小、颜色与边框厚度。

       调整yuv或rgb滤镜通过计算查找表，绑定像素输入值到输出值，然后应用到输入视频，实现色彩、对比度等调整。相关代码位于vf_lut.c，支持四种类型：packed 8bits、packed bits、planar 8bits、planar bits。

       将彩色视频转换为黑白视频的滤镜设置U和V分量为，实现效果如黑白视频所示。

FFmpeg源码分析: AVStream码流

       在AVCodecContext结构体中，AVStream数组存储着所有视频、音频和字幕流的信息。每个码流包含时间基、时长、索引数组、编解码器参数、dts和元数据。索引数组用于保存帧数据包的offset、size、timestamp和flag，代码 源码下载方便进行seek定位。

       让我们通过ffprobe查看mp4文件的码流信息。该文件包含5个码流，是双音轨双字幕文件。第一个是video，编码为h，帧率为.fps，分辨率为x，像素格式为yuvp。第二个和第三个都是audio，编码为aac，采样率为，立体声，语言分别为印地语和英语。第四个和第五个都是subtitle，语言为英语，编码器为mov_text和mov_text。

       调试实时数据显示，stream数组包含以下信息：codec_type（媒体类型）、codec_id、bit_rate、profile、level、width、height、sample_rate、channels等编解码器参数。

       我们关注AVCodecContext的编解码器参数，例如codec_type、codec_id、bit_rate、profile、level、width、height、sample_rate和channels。具体参数如下：codec_type - 视频/音频/字幕；codec_id - 编码器ID；bit_rate - 位率；profile - 编码器配置文件；level - 编码器级别；width - 宽度；height - 高度；sample_rate - 采样率；channels - 音道数。

       AVStream内部的nb_index_entries（索引数组长度）和index_entries（索引数组）记录着offset、size、timestamp、flags和min_distance信息。在seek操作中，酷果源码通过二分查找timestamp数组来定位指定时间戳对应的帧。seek模式有previous、next、nearest，通常使用previous模式向前查找。

       时间基time_base在ffmpeg中用于计算时间戳。在rational.h中，AVRational结构体定义为一个有理数，用于时间计算。要将时间戳转换为真实时间，只需将num分子除以den分母。

[推理部署]🤓opencv+ffmpeg编译打包全解指南

       本篇内容简要记录了解决opencv和ffmpeg在MacOS系统下编译及兼容问题的过程。在尝试编译最新版本的opencv并单独打包使用时，遇到ffmpeg与opencv版本不兼容的问题。具体表现为，将ffmpeg升级至5.0版本后，opencv的videoio模块报错。这主要是因为ffmpeg版本高于4.4后，API接口变动较大，无法与opencv兼容。为了解决这个问题，需要安装4.3.x或以下版本的ffmpeg。

       通过ffmpeg的官方仓库查询到合适的版本tags列表，并使用git clone命令下载了4.2.2版本的源码。在编译ffmpeg时，使用了make命令，通过指定安装路径避免了硬编码路径的问题。但是，当使用make install命令安装后，动态库的依赖路径仍旧指向了系统目录。为了解决这个问题，可以通过在ffmpeg源码的根目录下设置--prefix和--libdir为./，使得编译出的动态库依赖路径表示当前目录，从而解决与opencv的兼容性问题。

       在opencv编译时，需要指定-DWITH_FFMPEG=ON以启用ffmpeg支持。但由于opencv寻找的是系统目录下的ffmpeg，所以需要通过find_package()方法找到自编译的ffmpeg。为了实现这一点，需要编写ffmpeg-config.cmake配置文件，设置全局CACHE变量，确保版本检查时能够正确识别到自定义的源码解析博客ffmpeg版本。在完成配置文件编写后，将它放置在ffmpeg4.2.2目录下，即可完成opencv的编译。

       经过一系列操作，可以实现opencv和ffmpeg在MacOS系统下的正确编译及兼容。最后，总结了整个流程，并指出是为了解决lite.ai.toolkit工具箱中ffmpeg兼容性问题而进行的尝试。编译打包后的opencv和ffmpeg可以方便地在其他MacOS电脑上使用，避免了额外的编译需求。本文旨在提供一个关于OSX系统下opencv和ffmpeg编译打包的解决方案，并鼓励关注和了解其他模型的C++工程化案例。

FFmpeg开发笔记（七）欧拉系统编译安装FFmpeg

       FFmpeg是一款功能强大的多媒体编码和解码工具，支持Linux、macOS、Windows、Android等操作系统，如Ubuntu、Debian、Mint、CentOS、RHEL、Fedora等分支。

       在CentOS上编译安装FFmpeg涉及一系列步骤，确保工具包的安装，然后单独安装NASM、Yasm、libx、libx、libfdk_aac、libmp3lame、libopus、libvpx等依赖库。接着，配置并安装libx、libx、libfdk_aac等关键库，最后编译安装FFmpeg。具体步骤包括使用git下载源码，配置编译选项，执行make和make install命令，确保所有依赖正确安装。

       对于EulerOS（欧拉系统），基于CentOS源码开发，运行环境兼容CentOS。在欧拉系统上编译安装FFmpeg，同样需要安装一些基础工具和依赖库，如nasm、g++、openssl-devel、curl-devel、cmake、git等。接下来，下载并编译x、x和FFmpeg源码包，使用特定命令配置编译选项，并完成make和make install操作。最终，通过执行ffmpeg -version命令验证FFmpeg安装成功。

       通过遵循上述步骤，用户可以在不同操作系统如CentOS和EulerOS上成功编译安装FFmpeg，实现多媒体编码和解码功能。

理解ffmpeg

       ffmpeg是一个全能的音频和视频处理软件，支持录制、转换、流媒体等功能。

       名为“FFmpeg”的软件，其中“FF”代表快速播放，对应于“Fast Forward”。该软件的全名实际上是“ff + mpeg”，读音为“艾辅艾辅败克”。其官方网站是 ffmpeg.org，提供中文文档。

       在 CentOS 系统中，可以通过命令行使用 yum 命令进行 ffmpeg 安装。安装后，您可以在 /usr/lib 路径下找到ffmpeg库。

       ffmpeg安装完成后，您会得到三个工具，还有提供给开发者编码开发的系列库。

       ffmpeg源码是开源的，您可以直接访问源码。

       FFmpeg核心是用C语言编写，它利用底层操作系统和硬件功能处理音频和视频，包括解码、编码、封装、解封装等，这正是选择C语言的原因。

       FFmpeg的Libavutil库包含通用的实用工具和基本功能，如时间戳处理、时间间隔计算、字节流处理、颜色空间转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavcodec库是处理音频和视频编解码的库，提供丰富的编码器和解码器功能，包括设置编码参数、处理编码器选项、帧格式转换等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavformat库用于音视频的封装和解封装，支持多种音视频容器格式，如AVI、MP4、MKV等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavdevice库允许与音视频设备交互，进行音频和视频采集与播放。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libavfilter库提供音视频滤镜处理功能，包括裁剪、缩放、旋转、色彩调整等。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswscale库用于图像缩放和颜色空间转换，对视频帧进行大小调整、像素格式转换和色彩空间转换等操作。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       libswresample库提供音频重采样和格式转换功能，对音频数据进行采样率、通道布局和样本格式的转换。更多详细信息可参阅 ffmpeg.org/doxygen/trun...

       要读取mp4文件，您需要引用ffmpeg库，并按照文档说明执行代码。以下是一段示例代码，用于读取互联网上的mp4文件。

       执行此代码后，输出结果将显示关键函数调用的逻辑。

Ubuntu系统-FFmpeg安装及环境配置

       Ubuntu系统下，要使用FCN-4进行mp3音频自动标注，必须确保安装了Librosa音频处理库和FFmpeg工具。接下来，我们将详细讨论安装过程中的常见问题和解决方法。

       安装Librosa依赖库

       遇到“import librosa”报错时，需安装Librosa。首先，通过命令行安装librosa:

       pip install librosa

       安装成功后，可能需要额外安装缺失的模块，如_bz2和_lzma。遇到这些错误，应检查python版本并确保相关库文件在对应路径下，如将python3.6的_bz2库复制到python3.7的目录下。

       安装FFmpeg

       对于mp3音频，Librosa可能需要FFmpeg读取。解决“NoBackendError”问题，首先确保FFmpeg安装。在Ubuntu中，可以使用wget下载并安装FFmpeg源码:

       wget https://ffmpeg.org/releases/ffmpeg-4.1.tar.xz

       编译安装过程中，可能需要yasm，安装后执行:

       ./configure ... && make && sudo make install

       配置环境变量，将ffmpeg路径添加到PATH中，并在必要时修改共享库文件路径。

       问题解决

       如果仍遇到“audioread.exceptions.NoBackendError”，可能需要检查“ffdec.py”文件中FFmpeg的调用指令，可能需要修改为绝对路径:

       COMMAND = ('/usr/local/ffmpeg/bin/ffmpeg', 'avconv')

       确保所有配置完成后，通过“which ffmpeg”或“ffmpeg -h”检查FFmpeg是否可用，确认安装和环境配置已成功。

图像格式--FFMPEG代码走读-TIFF格式编码

       本文从FFMPEG源码角度解读TIFF编码内容，无需过多介绍，直接开启解读。TIFF编码涉及到的结构体TiffEncoderContext，用于存储与TIFF编码相关的上下文信息，包括编码上下文信息、长宽信息、压缩信息、yuv数据信息、缓冲区信息、Strip信息，以及编解码算法和级别信息等。

       TIFF文件使用标签（Tags）存储图像的元数据和其他信息，每个标签存储特定类型的信息，如图像宽度、高度、颜色深度等。在FFMPEG中包含的所有tag相关数据可参照下图查看。

       此外，还存在特定的补充标签，如DNG和CinemaDNG格式。DNG是由Adobe开发的一种开放的RAW图像格式，基于TIFF/EP标准，在TIFF基础上增加了存储更多摄影信息和元数据的特定标签。CinemaDNG是一个基于DNG的开放标准，专为**和视频制作中的RAW图像序列设计，包含与静态图像DNG类似的标签，同时增加了一些特定于视频和**制作的标签，用于管理处理高动态范围的RAW视频数据。

       TIFF编码代码位于libavcodec\tiffenc.c文件中。ff_tiff_encoder描述了一个TIFF图像编码器，采用标准FFmpeg库的API封装，包含TIFF编码器的各种信息和函数指针，便于对接到FFMPEG框架。

       encode_init函数用于初始化TIFF编码器上下文，并进行必要的检查和设置。encode_close函数在编码器关闭时进行资源清理，确保无内存泄漏。add_entry将一个条目添加到TIFF文件目录中。encode_strip用于将图像数据编码为TIFF文件的一个条带。pack_yuv将YUV图像数据打包成适合TIFF格式的条带。

       encode_frame函数主要作用是将一帧图像编码为TIFF格式。具体步骤包括初始化上下文和变量、设置编码器上下文参数、处理不同像素格式、计算每行字节数和数据包大小、分配内存、处理图像数据、写入TIFF文件头、添加TIFF标签、写入目录偏移量并完成编码。

       至此，TIFF编码过程解析完毕。源码编译与调试有助于深入理解，增进对TIFF编码的认识。

ffmpeg压制的ts视频在拖动时间轴时出现花屏现象,原因是什

       在Linux环境下，通过ffmpeg命令进行ts视频压制时，若出现拖动时间轴产生花屏现象，其根本原因在于帧数据的不完整导致解码错误。具体来说，当使用命令行设置时，通过参数`-fflags discardcorrupt`告知ffmpeg丢弃可能存在的损坏数据包。在ffmpeg源代码中，通过`av_read_frame`和`ff_read_packet`函数处理包数据，引入了变量`deviser_flag`用于标记包完整性。当检测到损坏包时，`deviser_flag`被设置为``，后续解码逻辑中通过判断`deviser_flag`值为``，选择丢弃这帧视频数据。如果解码失败，特别是I帧（关键帧）解码错误，导致后续GOP（组内）帧同样受到影响，产生花屏现象。通过在代码中加入额外判断逻辑，处理特定错误标记，如`decode_error_flags`为`4`或``，可以有效避免这类问题。编译ffmpeg时加入这些修改，可以解决卡顿和花屏问题。对于其他视频编码如H.，需要在源代码中自定义标志来跟踪解码错误，以便于识别并处理问题帧。处理方法包括定义全局变量和在相关函数中添加错误标记，以及在解码完成后的处理逻辑中检查这些标记，从而避免影响后续解码。同时，确保在码流探测阶段忽略不完整帧，使用`AVFMT_FLAG_NOBUFFER`避免将其放入接收缓存。对于特定的H.帧结构和模式，可能需要对现有方法进行调整以适应不同需求。在编码和解码过程中，通过精确控制和优化，可以有效减少花屏现象，提升视频播放流畅度。