【psi计算源码】【微信自动转发源码】【h5小程序源码】vlc源码 mediacodec

时间:2024-12-23 04:36:59 编辑:methods源码讲解 来源:spirng 源码入口

1.四款知名播放器比较:ijkplayer、VLCPlayer、SmartPlayer、ExoPlayer
2.Ijkplayer、ExoPlayer、VLC播放器综合比较
3.android中mediamuxer和mediacodec的区别

vlc源码 mediacodec

四款知名播放器比较:ijkplayer、psi计算源码VLCPlayer、SmartPlayer、ExoPlayer

       四款知名播放器各有特色,下面逐一介绍:

       ijkPlayer

       Bilibili公司的ijkPlayer是一款开源的Android和iOS平台播放器,基于ffmpeg构建,集成简单,微信自动转发源码基本功能与MediaPlayer相似。然而,对于定制化需求,门槛较高。它支持软硬编解码,具备倍速播放功能,体积小巧,详情可参考官方文档。

       VLC Media Player

       VLC是一款功能强大的跨平台播放器,支持几乎所有的多媒体文件,包括DVD、h5小程序源码音频CD等,以及流媒体协议,对点播有良好支持。它不仅支持多种视频和音频格式,还具备丰富的输入媒体和输入格式,适合专业级使用,但集成或二次开发可能较为复杂。

       SmartPlayer

       SmartPlayer由大牛直播SDK开发,专为安防、教育等领域设计,全平台支持RTSP和RTMP直播,易语言游戏多开源码性能稳定,延迟极低,资源占用低。它的优点在于直播体验上,但Windows、iOS的兼容性需单独说明。

       ExoPlayer

       Google出品的ExoPlayer是Android平台的高级播放器,集成了MediaCodec,易于定制和扩展。它专为互联网播放优化,支持DASH和SmoothStreaming,三菱plc底层源码适合开发复杂应用,但直播功能受限,仅限Android,且对软解码支持不足。

       总的来说,ijkPlayer适合基础集成,VLC适合专业需求,SmartPlayer适合直播场景,而ExoPlayer则以性能和定制性见长。开发者在选择时,应考虑具体需求和平台兼容性。

Ijkplayer、ExoPlayer、VLC播放器综合比较

       作者:码上就说

       全球知名播放器VLC Media Player,自年发布以来,因其跨平台特性备受青睐,已累计下载超过亿次,适用于Windows、Mac OS、Linux、Android和iOS等系统。其架构设计为模块化管理,由VLC main初始化libVLC并加载用户界面,libVLCcore提供模块装载和卸载机制,而access、demux和decode等功能则以模块形式存在,依赖于外部开源库。VLC的优势包括跨平台兼容、功能全面和代码解耦,但Android版本的包体积较大。

       与之相比,BiliBili的开源项目IjkPlayer基于ffmpeg开发,专为Android和iOS设计。它以FFplay为核心,利用ffmpeg的扩展性,虽然开发难度相对较低,但扩展性较差,且官方维护更新较慢。ijkplayer包大小更小,大约4.2M。

       Google的ExoPlayer作为轻量级播放器,以其集成的MediaCodec和良好的性能著称,尤其适合YouTube项目。它接入简单,但直播支持不足,且解码扩展性一般。ExoPlayer虽有潜力成为Android平台默认播放器,但Android 5.0后架构变化和代码整合的复杂性使其难以实现。

       综合考虑,对于Android项目,推荐使用ijkplayer,因为它基于ffmpeg,支持更多协议且对直播码流切换有更好的处理。VLC虽功能全面但包大且学习成本高。直播场景推荐软件解码方式,如ijkplayer。而对包大小敏感且不介意维护频率的,VLC是个不错选择。长远看,ijkplayer适合基础定制,逐渐演变成个性化播放器。

android中mediamuxer和mediacodec的区别

       Android中MediaMuxer和MediaCodec用例

       åœ¨Android的多媒体类中,MediaMuxer和MediaCodec算是比较年轻的,它们是JB 4.1和JB 4.3才引入的。前者用于将音频和视频进行混合生成多媒体文件。缺点是目前只能支持一个audio track和一个video track,而且仅支持mp4输出。不过既然是新生事物,相信之后的版本应该会有大的改进。MediaCodec用于将音视频进行压缩编码,它有个比较牛X的地方是可以对Surface内容进行编码,如KK 4.4中屏幕录像功能就是用它实现的。

       æ³¨æ„å®ƒä»¬å’Œå…¶å®ƒä¸€äº›å¤šåª’体相关类的关系和区别:MediaExtractor用于音视频分路,和MediaMuxer正好是反过程。MediaFormat用于描述多媒体数据的格式。MediaRecorder用于录像+压缩编码,生成编码好的文件如mp4, 3gpp,视频主要是用于录制Camera preview。MediaPlayer用于播放压缩编码后的音视频文件。AudioRecord用于录制PCM数据。AudioTrack用于播放PCM数据。PCM即原始音频采样数据,可以用如vlc播放器播放。当然了,通道采样率之类的要自己设,因为原始采样数据是没有文件头的,如:

       vlc --demux=rawaud --rawaud-channels 2 --rawaud-samplerate audio.pcm

       å›žåˆ°MediaMuxer和MediaCodec这两个类,它们的参考文档见/reference/android/media/MediaMuxer.html和/reference/android/media/MediaCodec.html,里边有使用的框架。这个组合可以实现很多功能,比如音视频文件的编辑(结合MediaExtractor),用OpenGL绘制Surface并生成mp4文件,屏幕录像以及类似Camera app里的录像功能(虽然这个用MediaRecorder更合适)等。

       è¿™é‡Œä»¥ä¸€ä¸ªå¾ˆæ— èŠçš„功能为例,就是在一个Surface上画图编码生成视频,同时用MIC录音编码生成音频,然后将音视频混合生成mp4文件。程序本身没什么用,但是示例了MediaMuxer和MediaCodec的基本用法。本程序主要是基于两个测试程序:一个是Grafika中的SoftInputSurfaceActivity和HWEncoderExperiments。它们一个是生成视频,一个生成音频,这里把它们结合一下,同时生成音频和视频。基本框架和流程如下:

       é¦–先是录音线程,主要参考HWEncoderExperiments。通过AudioRecord类接收来自麦克风的采样数据,然后丢给Encoder准备编码:

       AudioRecord audio_recorder;

       audio_recorder = new AudioRecord(MediaRecorder.AudioSource.MIC,

        SAMPLE_RATE, CHANNEL_CONFIG, AUDIO_FORMAT, buffer_size);

       // ...

       audio_recorder.startRecording();

       while (is_recording) {

        byte[] this_buffer = new byte[frame_buffer_size];

        read_result = audio_recorder.read(this_buffer, 0, frame_buffer_size); // read audio raw data

        // …

        presentationTimeStamp = System.nanoTime() / ;

        audioEncoder.offerAudioEncoder(this_buffer.clone(), presentationTimeStamp); // feed to audio encoder

       }

       è¿™é‡Œä¹Ÿå¯ä»¥è®¾ç½®AudioRecord的回调(通过setRecordPositionUpdateListener())来触发音频数据的读取。offerAudioEncoder()里主要是把audio采样数据送入音频MediaCodec的InputBuffer进行编码:

       ByteBuffer[] inputBuffers = mAudioEncoder.getInputBuffers();

       int inputBufferIndex = mAudioEncoder.dequeueInputBuffer(-1);

       if (inputBufferIndex >= 0) {

        ByteBuffer inputBuffer = inputBuffers[inputBufferIndex];

       inputBuffer.clear();

       inputBuffer.put(this_buffer);

       ...

        mAudioEncoder.queueInputBuffer(inputBufferIndex, 0, this_buffer.length, presentationTimeStamp, 0);

       }

       ä¸‹é¢ï¼Œå‚考Grafika-SoftInputSurfaceActivity,并加入音频处理。主循环大体分四部分:

       try {

        // Part 1

       prepareEncoder(outputFile);

       ...

        // Part 2

        for (int i = 0; i < NUM_FRAMES; i++) {

       generateFrame(i);

       drainVideoEncoder(false);

       drainAudioEncoder(false);

       }

        // Part 3

       ...

       drainVideoEncoder(true);

       drainAudioEncoder(true);

       } catch (IOException ioe) {

        throw new RuntimeException(ioe);

       } finally {

        // Part 4

       releaseEncoder();

       }

       ç¬¬1部分是准备工作,除了video的MediaCodec,这里还初始化了audio的MediaCodec:

       MediaFormat audioFormat = new MediaFormat();

       audioFormat.setInteger(MediaFormat.KEY_SAMPLE_RATE, );

       audioFormat.setInteger(MediaFormat.KEY_CHANNEL_COUNT, 1);

       ...

       mAudioEncoder = MediaCodec.createEncoderByType(AUDIO_MIME_TYPE);

       mAudioEncoder.configure(audioFormat, null, null, MediaCodec.CONFIGURE_FLAG_ENCODE);

       mAudioEncoder.start();

       ç¬¬2部分进入主循环,app在Surface上直接绘图,由于这个Surface是从MediaCodec中用createInputSurface()申请来的,所以画完后不用显式用queueInputBuffer()交给Encoder。drainVideoEncoder()和drainAudioEncoder()分别将编码好的音视频从buffer中拿出来(通过dequeueOutputBuffer()),然后交由MediaMuxer进行混合(通过writeSampleData())。注意音视频通过PTS(Presentation time stamp,决定了某一帧的音视频数据何时显示或播放)来同步,音频的time stamp需在AudioRecord从MIC采集到数据时获取并放到相应的bufferInfo中,视频由于是在Surface上画,因此直接用dequeueOutputBuffer()出来的bufferInfo中的就行,最后将编码好的数据送去MediaMuxer进行多路混合。

       æ³¨æ„è¿™é‡ŒMuxer要等把audio track和video track都加入了再开始。MediaCodec在一开始调用dequeueOutputBuffer()时会返回一次INFO_OUTPUT_FORMAT_CHANGED消息。我们只需在这里获取该MediaCodec的format,并注册到MediaMuxer里。接着判断当前audio track和video track是否都已就绪,如果是的话就启动Muxer。

       æ€»ç»“来说,drainVideoEncoder()的主逻辑大致如下,drainAudioEncoder也是类似的,只是把video的MediaCodec换成audio的MediaCodec即可。

       while(true) {

        int encoderStatus = mVideoEncoder.dequeueOutputBuffer(mBufferInfo, TIMEOUT_USEC);

        if (encoderStatus == MediaCodec.INFO_TRY_AGAIN_LATER) {

       ...

        } else if (encoderStatus == MediaCodec.INFO_OUTPUT_BUFFERS_CHANGED) {

        encoderOutputBuffers = mVideoEncoder.getOutputBuffers();

        } else if (encoderStatus == MediaCodec.INFO_OUTPUT_FORMAT_CHANGED) {

        MediaFormat newFormat = mAudioEncoder.getOutputFormat();

        mAudioTrackIndex = mMuxer.addTrack(newFormat);

       mNumTracksAdded++;

        if (mNumTracksAdded == TOTAL_NUM_TRACKS) {

       mMuxer.start();

       }

        } else if (encoderStatus < 0) {

       ...

        } else {

        ByteBuffer encodedData = encoderOutputBuffers[encoderStatus];

       ...

        if (mBufferInfo.size != 0) {

        mMuxer.writeSampleData(mVideoTrackIndex, encodedData, mBufferInfo);

       }

        mVideoEncoder.releaseOutputBuffer(encoderStatus, false);

        if ((mBufferInfo.flags & MediaCodec.BUFFER_FLAG_END_OF_STREAM) != 0) {

       break;

       }

       }

       }

       ç¬¬3部分是结束录制,发送EOS信息,这样在drainVideoEncoder()和drainAudioEncoder中就可以根据EOS退出内循环。第4部分为清理工作。把audio和video的MediaCodec,MediaCodec用的Surface及MediaMuxer对象释放。

       æœ€åŽå‡ ç‚¹æ³¨æ„ï¼š

       1. 在AndroidManifest.xml里加上录音权限,否则创建AudioRecord对象时铁定失败:

        <uses-permission android:name="android.permission.RECORD_AUDIO"/>

       2. 音视频通过PTS同步,两个的单位要一致。

       3. MediaMuxer的使用要按照Constructor -> addTrack -> start -> writeSampleData -> stop 的顺序。如果既有音频又有视频,在stop前两个都要writeSampleData()过。

       Code references:

       Grafika: /google/grafika

       Bigflake: /mediacodec/

       HWEncoderExperiments:/OnlyInAmerica/HWEncoderExperiments/tree/audioonly/HWEncoderExperiments/src/main/java/net/openwatch/hwencoderexperiments

       Android test:/4.4.2_r2/xref/cts/tests/tests/media/src/android/media/cts/

       /4.4.2_r2/xref/pdk/apps/TestingCamera2/src/com/android/testingcamera2/CameraRecordingStream.java

搜索关键词:hive视图源码分析