1.FFMPEG音视频同步-音频实时采集编码封装成MP4
2.瑞芯微-I2S | ALSA基础-3
3.音视频开发-音频库使用tinyalsa使用
4.ALSAçç¹ç¹
5.alsa是源码什么意思英语?
6.Linux应用开发第八章ALSA应用开发
FFMPEG音视频同步-音频实时采集编码封装成MP4
音视频同步录制相关文章
1、 ffmpeg-摄像头采集保存
2、下载 ffmpeg音视频同步-摄像头采集编码封装
3、源码 ffmpeg-音频正弦产生并编码封装
4、下载 ffmpeg-音频实时采集保存
5、源码 ffmpeg音视频同步-音频实时采集编码封装
6、下载h5樱花全盛源码 ffmpeg音视频同步-音视频实时采集编码封装
7、源码 ffmpeg音视频同步-音视频实时采集编码推流
8、下载 ffmpeg音视频同步-音视频实时采集编码推流-优化版本
系统环境:
系统版本:lubuntu .
Ffmpge版本:ffmpeg version N--g
摄像头:1.3M HD WebCan
虚拟机:Oracle VM VirtualBox 5.2.
指令查看设备 ffmpeg -devices
指令播放实时音频 ffplay -f alsa -showmode 1 -ac 2 -i default -ar
Linux使用ffplay实时采集音频并实时播放_唐传林的源码博客-CSDN博客
指令录制实时音频ffmpeg -f alsa -ar -i hw:0,0 audio.wav
ffmpeg -f alsa -ar -i default ffmpeg_record_audio.wav
ubuntu下用ffmpeg录制音频文件_ubuntu使用指令录制mp3音频_dingjianfeng的博客-CSDN博客
指令分离音视频:ffmpeg -i test.mp4 -vn -y -acodec copy test.aac
ffmpeg -i test.mp4 -vn -y -avcodec copy test.h
本章文档基于ubuntu alsa格式。实时采集音频一帧数据并将其转化为pcm,下载编码成AAC,封装成mp4保存下来
1.简介
FFmpeg中有一个和多媒体设备交互的类库:Libavdevice。使用这个库可以读取电脑(或者其他设备上)的源码多媒体设备的数据,或者输出数据到指定的下载多媒体设备上。
ffmpeg中的源码音频相关内容
ffmpeg中AVPacket中可能会含有多个音频帧(AVFrame),一个音频帧含有多个采样,采样率决定了1s有多少个采样(或者说一个音频帧可以播放多久)。下载对于aac,源码一帧有个采样,mp3一帧则固定为个字节。
对于音频,由于有多声道的音频,那么音频解码出来的数据不同声道也储存在不同的指针,如data[0]是左声道,data[1]是右声道,由于各个声道的数据长度是一样的,所以linesize[0]就代表了所有声道数据的长度。
成员extended_data则指向了data,是一个拓展,上面可以看到data 是包含8个指针的数组,也就是说对于音频,最多只支持8个声道
如果是以下格式:
只能保存再AVFrame的uint8_t *data[0]; 音频保持格式如下: LRLRLR。。。。
如果是以下格式
plane 0: LLLLLLLLLLLLLLLLLLLLLLLLLL…
plane 1: RRRRRRRRRRRRRRRRRRRR…
plane 0对于uint8_t *data[0];
plane 1对于uint8_t *data[1];
相关学习资料推荐,点击下方链接免费报名,缓存机制源码先码住不迷路~
音视频免费学习地址:FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发
免费分享音视频学习资料包、大厂面试题、技术视频和学习路线图,资料包括(C/C++,Linux,FFmpeg webRTC rtmp hls rtsp ffplay srs 等等)有需要的可以点击 加群免费领取~
2.源码
最简单的基于Libavdevice的摄像头数据读取一帧帧pcm数据,经过音频重采样获取目标AAC的音频源数据参数,保存成MP4文件
3.验证
3.1编译
3.2结果
使用软件mp4打开test.mp4,可以听到实时采集的音频
3.3存在的问题
1、本文档源码,采集ALSA获取的源数据是K,stereo声道,采样大小,经转换成pcm的格式,同样是K,stereo声道大小;不同的采样率会出现部分声音数据丢失,具体原因,在 《ffmpeg-音频实时采集保存》具体分析 ,涉及其他分辨率转换,不在本文讨论范围里。
2、由于本例程没有没有对ALSA音频进行重采样,(采样率,个采样点,双声道,bit),故若保存成ts,flv等封装格式是,默认采用的音频编码格式分别是mpga,mp3,其采样点为。所以运行此程序会有问题,数据无法写入。而且目前暂不探讨音频重采样问题。故想到一种解决方法是,指定AAC音频编码格式(ts,朝花夕拾源码mp4等都支持AAC音频编码,参考《ffmpeg-摄像头采集编码封装》的表格)。
4.附件
无
5.参考链接
[1] ffmpeg之PCM转AAC
FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客
[2]官方Encode pcm file to aac
[FFmpeg-user] Encode pcm file to aac
[3]PCM编码AAC,参考其普通PCM格式与AAC转格式差异 FFmpeg()PCM编码AAC_pkt.data 就是pcm吗_mengzhengjie的博客-CSDN博客
[4] 音频编码(一)--FFmpeg编码-腾讯云开发者社区-腾讯云
原文链接: FFMPEG音视频同步-音频实时采集编码封装成MP4_qinyi_style的博客-CSDN博客
瑞芯微-I2S | ALSA基础-3
针对音频设备,Linux内核包含两类音频设备驱动框架:ALSA。ALSA项目旨在解决Linux下声卡驱动(OSS)的维护不足与落后问题。项目由Jaroslav Kysela发起,并吸引了更多开发者加入,实现了更多声卡支持与API重组。目前已成为Linux主流音频架构,其官网提供更多信息。
ALSA系统包括应用层的ALSA Library和内核设备驱动层的ALSA Driver。应用程序通过调用ALSA Library API即可控制底层音频硬件。Linux内核中的ALSA架构,从上到下依次为应用程序、ALSA Library API、ALSA Core、ASoC Core、硬件驱动程序、硬件设备。ALSA驱动在硬件上进行封装以简化实现难度。
Linux系统下,设备文件显示有C0、D0等声卡设备,分别表示设备0和设备1。以C0D0c为例,c代表捕获,p代表播放。这些设备按照ALSA Driver的命名规则组织。在内核中,ALSA Driver进一步封装为ASoC,实现从上至下的结构体系。
在Linux源码中,jdk源码原文ALSA架构位于/sound目录下,代码组织在不同子目录内,如alsa-driver、alsa-lib等。ALSA Core的数据结构主要定义在include/sound/core.h文件及其子目录中。关键数据结构如struct snd_card、struct snd_device、struct snd_minor等分别用于表示声卡、声卡逻辑设备及上下文信息。
ALSA设备文件注册与管理由内核函数驱动,如snd_register_device用于注册设备文件,device_add用于添加设备至设备层次结构,而snd_unregister_device用于注销设备文件。这些函数涉及设备文件在sysfs和devtmpfs文件系统中的创建与删除。音频设备的文件操作主要包含open和llseek操作,其中open操作由特定的文件操作snd_fops实现。
音视频开发-音频库使用tinyalsa使用
TinyALSA,一个轻量级的Linux内核音频接口库,旨在简化用户对alsa库的使用,通过提供更简洁的API和更易于管理的代码结构,解决了传统alsa库庞大、接口繁杂的问题。TinyALSA主要在用户层提供音频设备的基本操作,如设备控制、音频采集与播放等,以较小的体积满足基本的PCM数据处理需求。
在编译与调试阶段,用户需先下载TinyALSA源码,支持主流的make、cmake和Meson等构建工具,且在进行交叉编译时,工业通讯源码需对makefile进行相应修改,以适配目标平台的编译工具链。
TinyALSA的API主要分为音频播放、音频采集与设备控制三大模块。其中,音频采集与播放功能涉及到pcm_config结构的配置,包含声卡ID、设备ID、操作类型(输入或输出)、通道数、采样率、采样精度等参数,用于初始化PCM设备并进行数据的读取或写入。需要注意的是,数据采集或播放的缓冲大小由库内部计算得出。
设备控制模块提供了打开和关闭mixer管理器的功能,通过声卡ID可获取mixer句柄,并进行音量控制和设备模式调整等操作。TinyALSA通过不同的设置接口,支持字符串和数值两种模式,以适应不同的设备和需求。
在实际应用中,TinyALSA提供了丰富的功能模块,例如在音频采集端的实现,用户只需调用相应的API进行设备初始化、数据采集等操作,简化了音频处理的开发流程,提升了开发效率。同时,TinyALSA的API设计简洁明了,易于理解和使用,适合音视频开发中的各种场景,包括FFmpeg、WebRTC、RTMP、NDK和Android等。
总结而言,TinyALSA作为一款轻量级音频库,通过提供简洁的API和高效的设备控制功能,显著降低了Linux内核音频开发的复杂性,成为音视频开发中不可或缺的工具。
ALSAçç¹ç¹
ä»åå²ä¸æ¥è¯´ï¼Gentooæä¾äºä¸¤ç§æ¹æ³å¯ä»¥ä½¿ALSAè¿è¡å¨æ¨çç³»ç»ä¸ï¼å æ ¸èªå¸¦ç驱å¨åå¤é¨çalsa-driver软件å ãè¿ä¸¤ç§æ¹æ¡åºæ¬ä¸å®æçæ¯åä¸é¡¹ä»»å¡ï¼è¿ä½¿å¾æä¾å¯¹å¤é¨è½¯ä»¶å çæ¯æå¼å¸¸å°é¾åèæ¶ãGentooç»´æ¤è å³å®ä¸å继ç»å¯¹alsa-driver软件å è¿è¡æ¯æï¼èæ¯å°ä»ä»¬çèµæºéä¸å¨Linuxå æ ¸ä¸çALSA驱å¨é¨åãè¿ä»½æåå°åªéä¸ä»ç»å¦ä½éè¿å¨å æ ¸èªå¸¦ç驱å¨æ¥é ç½®ALSAãJaroslav Kyselaè¿å»æ¯è¿ä¸ªé¡¹ç®çé¢å¯¼è ï¼è¿ä¸ªé¡¹ç®å¼å§äºä¸ºå¹´Gravis Ultrasoundæå¼åç驱å¨ï¼å®ä¸ç´ä½ä¸ºä¸ä¸ªåç¬ç软件å å¼åï¼ç´å°å¹´ä»è¢«å¼è¿å ¥ linuxå æ ¸çå¼åçæ¬ (2.5.4-2.5.5)1ãä»2.6 çæ¬å¼å§ALSAæ为Linuxå æ ¸ä¸é»è®¤çæ åé³é¢é©±å¨ç¨åºéï¼OSSå被æ 记为åºå¼ã
ALSAæ¯ä¸ä¸ªå®å ¨å¼æ¾æºä»£ç çé³é¢é©±å¨ç¨åºéï¼é¤äºåOSSé£æ ·æä¾äºä¸ç»å æ ¸é©±å¨ç¨åºæ¨¡åä¹å¤ï¼ALSAè¿ä¸é¨ä¸ºç®ååºç¨ç¨åºçç¼åæä¾äºç¸åºçå½æ°åºï¼ä¸OSSæä¾çåºäºioctlçåå§ç¼ç¨æ¥å£ç¸æ¯ï¼ALSAå½æ°åºä½¿ç¨èµ·æ¥è¦æ´å æ¹ä¾¿ä¸äºãå©ç¨è¯¥å½æ°åºï¼å¼å人åå¯ä»¥æ¹ä¾¿å¿«æ·çå¼ååºèªå·±çåºç¨ç¨åºï¼ç»èåçç»å½æ°åºå é¨å¤çãå½ç¶ ALSAä¹æä¾äºç±»ä¼¼äºOSSçç³»ç»æ¥å£ï¼ä¸è¿ALSAçå¼åè 建议åºç¨ç¨åºå¼åè 使ç¨é³é¢å½æ°åºèä¸æ¯é©±å¨ç¨åºçAPIã
Linuxä¸ALSAç主è¦æ件ï¼
include/sound/driver.h
sound/core/*.c
注ï¼OSS(Open Sound System)æ¯Linuxä¸çå¦å¤ä¸ä¸ªé³é¢é©±å¨ç¨åºæ¡æ¶ã
alsa是什么意思英语?
ALSA全称Advanced Linux Sound Architecture,是一个开放源代码的音频驱动程序。它被设计用于Linux内核的数字音频接口。ALSA的目标是提供一个开放,高质量的数字音频处理系统,以支持Linux上的音频播放,录制,以及应用程序的开发和调试。作为Linux内核的一部分,ALSA提供了一套框架来管理声卡硬件和与之相关的软件。在Linux 上,ALSA被认为是现代内核中最重要的音频框架之一。
ALSA主要优点是它具有相对较低的延迟,音频质量更好、支持深度定制和高度灵活性。同时,ALSA也有一些缺点需要我们关注,例如在某些旧声卡上可能会出现兼容性问题,该驱动程序的安装和配置较为复杂,并且还可能需要手动编写一些配置文件才能使某些声卡正常工作。此外,ALSA最初是为Linux内核开发的,因此不适用于其他操作系统。
ALSA对Linux的重要性
ALSA对Linux系统的重要性不容忽视。它为Linux 提供了一个可扩展的,高质量的数字音频系统,使开发人员得以轻松地开发音频应用程序。ALSA提供了一种与硬件接口的高级方法,从而提供了比其他音频框架更强大的功能。ALSA的支持和不断更新,使得Linux成为了一个功能强大的多媒体平台。因此,对于音视频开发者或爱好者而言,了解和掌握ALSA的相关知识和技能是非常有必要的。
Linux应用开发第八章ALSA应用开发
音频信号是一种连续变化的模拟信号,但计算机只能处理和记录二进制的数字信号,由自然音源得到的音频信号必须经过一定的变换,成为数字音频信号之后,才能送到计算机中作进一步的处理。
数字音频系统通过将声波的波型转换成一系列二进制数据,来实现对原始声音的重现,实现这一步骤的设备常被称为(A/D)。A/D转换器以每秒钟上万次的速率对声波进行采样,每个采样点都记录下了原始模拟声波在某一时刻的状态,通常称之为样本(sample),而每一秒钟所采样的数目则称为采样频率,通过将一串连续的样本连接起来,就可以在计算机中描述一段声音了。对于采样过程中的每一个样本来说,数字音频系统会分配一定存储位来记录声波的振幅,一般称之为采样分辨率或者采样精度,采样精度越高,声音还原时就会越细腻。
数字音频涉及到的概念非常多,对于在Linux下进行音频编程的程序员来说,最重要的是解声音数字化的两个关键步骤:采样和量化。
采样频率是指将模拟声音波形进行数字化时,每秒钟抽取声波幅度样本的次数。采样频率的选择应该遵循奈奎斯特(Harry Nyquist)采样理论:如果对某一模拟信号进行采样,则采样后可还原的最高信号频率只有采样频率的一半,或者说只要采样频率高于输入信号最高频率的两倍,就能从采样信号系列重构原始信号。
量化位数是对模拟音频信号的幅度进行数字化,它决定了模拟信号数字化以后的动态范围,常用的有8位、位和位。量化位越高,信号的动态范围越大,数字化后的音频信号就越可能接近原始信号,但所需要的存储空间也越大。
ALSA全称是Advanced Linux Sound Architecture,中文音译是Linux高级声音体系。ALSA是Linux内核2.6后续版本中支持音频系统的标准接口程序,由ALSA库、内核驱动和相关测试开发工具组成,更好的管理Linux中音频系统。
本小节将介绍ALSA的架构。
ALSA是Linux系统中为声卡提供驱动的内核组件。它提供了专门的库函数来简化相应应用程序的编写。相较于OSS的编程接口,ALSA的函数库更加便于使用。
对应用程序而言,ALSA无疑是一个更佳的选择,因为它具有更加友好的编程接口,并且完全兼容于OSS。
ALSA系统包括7个子项目:
ALSA声卡驱动与用户空间体系结构交互如下图所示:
移植ALSA主要是移植alsa-Ub和alsa-utils。
ALSA Util是纯应用层的软件,相当于ALSA设备的测试程序,ALSA-Lib则是支持应用API的中间层程序,ALSA-Util中的应用程序中会调用到ALSA-Lib中的接口来操作到我们的音频编解码芯片的寄存器,而lib中接口就是依赖于最底层驱动代码,因此移植ALSA程序的顺序就是先后移植Driver,Lib,Util。
ALSA首先需要在ALSA的官网上下载官网 alsa-project.org下载alsa-lib和alsa-utils。
ALSA Lib移植不需要修改源码,只需要重新编译库代码以支持自己的平台。
在上述命令中./configure配置的几个重要的配置选项解释如下:
ALSA Util可以生成用于播放,录制,配置音频的应用可执行文件,测试驱动代码时用处很大,编译过程如下:
ALSA库和测试工具的移植就是将相应库文件和可执行文件放在目标板上,以下文件必须被拷贝至对应位置:
(1)ALSA Lib文件,放在/lib/中。
(2)配置文件放在/usr/local/share中,与编译时指定的目录相同。
(3)测试应用文件,ALSA Util能产生aplay、amixer、arecord,我们可以把这些可执行文件放在/usr/sbin中。
(4)内核目录中保证有/dev/snd/目录,这个目录下存放controlC0,pcmC0D0,/usr/sbintimer,timer这些设备文件,如果这些设备文件已经在/dev目录下,可手动拷贝到/snd目录中。
在LINUX系统中,每个设备文件都是文件。音频设备也是一样,它的设备文件被放在/dev/snd目录下,我们来看下这些设备文件:
(1)controlC0:音频控制设备文件,例如通道选择,混音,麦克风的控制等;
(2)pcmC0D0c:声卡0设备0的录音设备,c表示capter;
(3)pcmC0D0p:声卡0设备0的播音设备,p表示play;
(4)timer:定时器设置。
本小节将着重讲解tinyalsa工具使用,tinyalsa是alsa-lib的一个简化版。它提供了pcm和control的基本接口;没有太多太复杂的操作、功能。可以按需使用接口。
使用方法:
举例:
与amixer作用类似,用于操作mixer control。
使用方法:
举例:
aplay是命令行的ALSA声卡驱动的播放工具,用于播放功能。使用方法:
举例:
arecord是命令行的ALSA声卡驱动的录音工具,用于录音功能。使用方法:
举例:
从代码角度体现了alsa-lib和alsa-driver及hardwared的交互关系。用户层的alsa-lib通过操作alsa-driver创建的设备文件/dev/snd/pcmC0D0p等对内核层进行访问。内核层的alsa-drivier驱动再经由sound core对硬件声卡芯片进行访问。
为了方便操作访问,alsa-lib中封装了相关接口,通过pcmCXDXp/pcmCXDXc节点(/dev/snd/pcmCXDXx)去实现播放、录音功能。
主要涉及到的接口:
详细pcm接口说明请查阅:
alsa-project.org/alsa-d...