1.FFmpeg编解码处理-转码全流程简介
2.HEVC开源编解码器HM编译及使用方法
FFmpeg编解码处理-转码全流程简介
本文基于 FFmpeg 4.1 版本,解码对转码全流程进行简要介绍。成源转码过程主要分为输入、码源码解码输出、解码转码、成源播放四大环节,码源码解码dmx编程源码其中转码功能占据较大比重。解码转码的成源核心在于解码和编码两部分,尽管在实际示例程序中,码源码解码编码、解码解码与输入、成源输出难以完全分割。码源码解码具体流程如下:
1. **解复用**:从输入文件中读取编码帧,解码判断流类型,成源并将编码帧送入对应的码源码解码解码器(视频或音频)。
2. **解码**:将编码帧解码,iapp破解源码生成原始帧。
3. **滤镜**:FFmpeg 提供多种滤镜,用于处理原始帧数据。本例中使用空滤镜,以确保视频流输出的像素格式转换为编码器支持的格式,音频流输出的声道布局同样转换为编码器支持的布局。这一步为编码操作做好准备。
4. **编码**:原始视音频帧通过编码器转换为编码帧。
5. **复用**:编码帧按不同流类型交织写入输出文件。
**转码例程简介**:
转码功能复杂,示例程序难以简化。本例程支持指定视音频编码格式与输出文件封装格式。若指定格式为 "copy",输出流将采用与输入流相同的编码格式。与 FFmpeg 命令不同,打企鹅 源码此例程在 "copy" 时,会进行编码与解码操作,耗时较长。验证方法与命令行操作类似,源代码文件主要包括在 main. c 中的 transcode_video()、transcode_audio() 和 transcode_audio_with_afifo() 函数,这些函数展示了音视频转码的实现方法。
**视频与音频转码流程**:
- **视频转码**:主要在 transcode_video() 函数中实现,处理流程包含解复用、解码、滤镜处理和编码等步骤。
- **音频转码**:在 transcode_audio() 函数中实现,同样涉及解复用、解码、滤镜处理和编码。android 找茬源码
**时间戳处理**:
在封装格式处理中,时间基的理解不是必需的,但在编解码过程中,正确的时间基转换至关重要。容器的时间基与编解码器上下文的时间基不同,解码编码过程中需要进行转换。对于视频,原始帧时间基为 1/framerate,编码前需将容器时间基转换为 1/framerate,编码后转换回输出容器的时间基。对于音频,原始帧时间为 1/sample_rate,同样需要进行相应的时间基转换,若使用音频 FIFO,需使用 1/sample_rate 时间基重新生成时间戳信息。互动视频 源码
**编译与验证**:
下载示例代码,执行 make 命令生成可执行文件。使用测试文件进行验证,观察文件格式,并指定编码格式与封装格式生成输出文件。
HEVC开源编解码器HM编译及使用方法
HM (HEVC Test Model)是一个开源软件,用于帮助我们理解HEVC编码标准。它包括编码器TAppEncoder和解码器TAppDecoder,能实现HEVC标准中的所有功能,但性能不如商用编码器。该项目由JVET维护。本文记录了笔者在Ubuntu下根据HM项目的README,编译并运行一个小demo的过程。
JVET并未将HM托管到GitHub,而是将其托管在gitlab仓库vcgit.hhi.fraunhofer.de...中。我们可以在该页面找到仓库的git URL,然后在Ubuntu中使用git clone命令克隆源代码:
进入代码目录后,创建名为build的文件夹,并进入该文件夹:
在build目录下运行以下指令:
注意,执行上述指令前需要预先安装cmake工具。
执行cmake后,在当前目录下应该会看到一个Makefile,然后我们可以使用make进行编译:
编译过程可能较长:
编译过程中,如果没有错误,几分钟内即可完成。如果读者在编译过程中遇到依赖问题,可以自行搜索并安装,HM的编译过程相对顺利,没有太多难点。
当make的进度达到%时,说明编译完成。最后几行输出表明编译出的可执行文件位于相应位置,可以在“HM/bin/umake/gcc-9.4/x_/release”目录下找到“MCTSExtractor”“parcat”“SEIRemovalApp”“TAppDecoder”“TAppDecoderAnalyser”“TAppEncoder”等可执行文件。
接下来,我们使用TAppEncoder进行测试,将一个未压缩的yuv序列编码成HEVC视频序列。我们使用的是Derf's Test Media Collection数据集中的akiyo视频序列。下载akiyo_cif.y4m文件后,将其与TAppEncoder可执行文件放在同一文件夹中。
在HM项目的doc目录下,有一个名为software-manual.pdf的说明文档,详细介绍了HM软件的使用方法。通过阅读该文档,我们可以了解TAppEncoder通过-c参数指定配置文件,并在项目的cfg目录下找到示例配置文件。我们将其中一个配置文件拷贝到工作目录下,并执行代码。如果出现错误,可能是因为配置文件中没有指定帧率和编码总帧数。这是一个HM项目的小坑,需要仔细调试。
修改配置文件后,再次执行指令,即可正常编码。编码完成后,可以在当前目录下找到输出文件akiyo_hevc.bin,使用PotPlayer播放,显示输入格式为HEVC。但可能存在一些播放异常,需要进一步检查。
我们可以使用开源软件GitlHEVCAnalyzer对akiyo_hevc.bin进行分析,该软件可以显示视频中的CU、PU等单元以及分块信息。
--更新:使用HM的TAppEncoder对akiyo_cif.y4m进行编码时,编码后的视频画面会发生色彩异常和抖动异常。目前,已找到原因并成功解决。在解决此问题之前,我们需要了解y4m文件格式。Y4M是一种保存原始YUV序列的文件封装格式,包含视频属性信息。而HM的TAppEncoder编码器需要接收仅由视频帧组成的像素矩阵数据。因此,直接将akiyo_cif.y4m文件输入到HM编码器中可能导致帧不对齐,造成抖动。解决方法是提取视频每一帧像素矩阵,丢弃视频属性信息,并将它们写入新文件。使用ffmpeg进行视频内容提取后,将得到的akiyo_yuv.yuv文件输入到TAppEncoder中,以相同方式进行编码,即可正常播放视频。