PJSIP源码探究 pjmedia-videodev模块

       PJMEDIA-Videodev模块详解：在PJSIP中的视频捕获功能实现

       PJSIP中，pjmedia-videodev模块扮演着关键角色，码解它负责视频捕获功能，码解让开发者能够在应用中集成自定义画面捕获设备。码解为了深入了解，码解首先需要理解pjsua2中的码解毕设源码会议工作流程，包括Endpoint对象的码解使用和相关c++函数的调用，如pjsua_create、码解pjsua_start和pjsua_init等。码解

       在pjsip的码解源码中，视频捕获设备的码解初始化过程始于pjsua_media_subsys_init，这个函数通过pjsua_media_config_default参数，码解初始化了媒体子系统，码解其中包括视频和音频子系统。码解其中，码解pjmedia_vid_subsys_init在pjmedia-videodev模块的pjmedia_vid.c中被调用，用于初始化视频捕获设备子系统。

       在Android环境下，pjmedia_and_factory是产品源码扫描怎么扫关键，它会在编译时根据平台特性注册到视频子系统中。当需要视频捕获时，会通过这个工厂创建具体设备，如摄像头，并获取画面。pjmedia-videodev-factory在android_dev.c文件中实现，包含了设备查找、参数设置和流创建等功能，如and_factory_init、交换机前端源码and_factory_create_stream等。

       视频流的管理主要通过pjmedia_vid_dev_stream结构体和对应的stream_op函数，如and_stream_get_param、and_stream_set_cap等，它们控制摄像头的设置和画面捕获。在自定义捕获中，可以通过这些接口添加时间水印，创造出更为丰富的视频体验。

       总之，竞神首板源码pjmedia-videodev模块为PJSIP提供了灵活的视频捕获能力，开发者可以根据需求定制捕获设备和功能。理解并掌握这一模块的工作原理，将有助于在实际项目中实现个性化的视频通话体验。

pjsip 本地视频预览怎么改变内容源的大小 iOS

       1 把视频源当然文件来处理，sample有。不过这种方法用的不多。

       2 修改vid_stream.c，在put_frame和get_frame里，离乖率指标源码换上我们自己的视频源。这种方法使用的最多，很多人在1.x版本里支持视频，就用这种方法。

       3 重新构造sdp，自己创建rtp通道。

       在sdp上，pjsua_call_make_call这个函数非常方便，直接呼叫对方。不过它在底层做了太多工作，比如启动了声卡。而不用这个函数，直接用比较底层的pjsip_inv_send_msg，自己处理的工作相对比较多（但不难，不过这样就不需要pjsua这个现成的程序了，所以我们继续用pjsua_call_make_call）。

       不过还好，pj库提供了大量的回调，其中一个：on_call_sdp_created，就是在创建sdp后回调上来，由我们自己再修改。比如我们自己定义rtp的端口g_local_port。

       void on_call_sdp_created(pjsua_call_id call_id,

        pjmedia_sdp_session *sdp,

        pj_pool_t *pool,

        const pjmedia_sdp_session *rem_sdp)

       {

       int nPort;

       if (sdp != NULL)

       {

       pjmedia_sdp_media *m = sdp->media[sdp->media_count-1];

       m->desc.port = g_local_port;

       pjmedia_sdp_conn *c = sdp->conn;

       char* addr;

       if (c)

       addr= c->addr.ptr;

       else

       {

       const pj_str_t *hostname;

       pj_sockaddr_in tmp_addr;

       char *addr;

       hostname = pj_gethostname();

       pj_sockaddr_in_init(&tmp_addr, hostname, 0);

       addr = pj_inet_ntoa(tmp_addr.sin_addr);

       sdp->conn = (pjmedia_sdp_conn *)pj_pool_zalloc (pool, sizeof(pjmedia_sdp_conn));

       sdp->conn->net_type = pj_str("IN");

       sdp->conn->addr_type = pj_str("IP4");

       sdp->conn->addr = pj_str(addr);

       }

       sdp->origin.addr = *pj_gethostname();

       }

       }

       同样，这里还可以修改payload type等。

       这是发起呼叫时的，接收方收到后的回应之后，也会触发这个回调，自己设定RTP端口，payload type就可以了。

       2

       呼叫成功后，双方建立起连接关系，这时需要传rtp数据了。pjsua把这些工作都放在底层了，不做任何修改，只需要在发送和接收时，自己做一些处理就行。

       先说接收方(参考siprtp.c源码)：

       pj_status_t init_local_rtp()

       {

       if (m_bInitMedia)

       {

       destroy_media();

       }

       //g_local_port = local_port;

       pj_caching_pool_init(&cp, &pj_pool_factory_default_policy, 0);

        pool = pj_pool_create(&(cp.factory), "test", , , NULL);

       int status;

       //status = pjmedia_endpt_create(&cp.factory, pjsip_endpt_get_ioqueue(pjsua_get_pjsip_endpt()), 0, &med_endpt);

       status = pjmedia_endpt_create(&cp.factory, NULL, 1, &med_endpt);

       status = pjmedia_rtp_session_init(&video.out_sess, , pj_rand());

       status = pjmedia_rtp_session_init(&video.in_sess, , 0);

       status = pjmedia_transport_udp_create(med_endpt, NULL, g_local_port, 0, &video.transport);

       m_bInitMedia = true;

       video.active = true;

       return 0;

       }

       这段代码是本地启动rtp一个端口用来接收视频数据。

       然后，从sdp得到对方发送的ip和端口，调用pjmedia_transport_attach，建立关联就可以了。

如何在 android 设备上使用 pjsip G. 编解码的功能

       ç¬¬ä¸€æ­¥æ˜¯ç”Ÿæˆ pjsip 为 Android （步骤为 Ubuntu Linux） 的源代码：

       è®¾ç½® ANDROID_NDK_ROOT 环境变量设置为您 NDK 根文件夹。

       è½¬åˆ° pjsip 2.x 文件夹并创建 pjlib/include/pj/config_site.h 包括 config_site_sample.h ( #include <pj/config_site_sample.h> )

       è¿è¡Œ./configure-android

       è¿è¡Œmake clean && make depend && make

       ä¹‹åŽè¿™äº›æ­¥éª¤ï¼Œä½ å°†æœ‰å‡ ä¸ªé™æ€åº“中的几个文件夹。我建议将它们分组相同的文件夹 （最好在您的项目中） 中的：

       mkdir <your_project_path>/pjsip_libs

       find . -name *.a | xargs -I % cp % <your_project_path>/pjsip_libs/

       ä¸€æ—¦ä½ çš„所有库，您需要将这些库添加到您的项目 Android.mk 文件，这是由包括一个新的模块节每个图书馆。此模块部分应该是一样的东西：

       include $(CLEAR_VARS)

       LOCAL_MODULE := pjsua-arm-unknown-linux-androideabi

       LOCAL_SRC_FILES := $(MY_PJLIB_PATH)/libpjsua-arm-unknown-linux-androideabi.a

       include $(PREBUILT_STATIC_LIBRARY)

       ï¼Œä½ å…¶å®žæ˜¯ä¸€èŠ‚中构建您的 JNI 项目的源代码，所有模块都添加到您的静态库的引用：

       LOCAL_STATIC_LIBRARIES := pjsua-arm-unknown-linux-androideabi ...

       è¿™å°†åŒ…括 pjsip 的引用加入您的 JNI 库。现在，您需要配置 pjsip UA 实例。

       ä½ æœ‰ä¸€ä¸ªå…³äºŽ init 和开始的解释 pjsip 的 UA (pjsua) 在 pjsip/include/pjsua-lib/pjsua.h 但要遵循的主要步骤是：

       åˆ›å»ºä¸€ä¸ªå…·æœ‰ UA 实例pjsua_create

       åˆ›å»ºä¸€ä¸ªå·¥ä½œçº¿ç¨‹ä¸Žpj_thread_create

       UA 实例的设置的默认配置：

       pjsua_config cfg æ¡© ；pjsua_logging_config log_cfg ；pjsua_media_config media_cfg ；

       pj_cli_cfg_default(&app_config.cli_cfg.cfg) ；pjsua_logging_config_default(&log_cfg) ；pjsua_media_config_default(&media_cfg) ；

       åˆå§‹åŒ–堆栈与pjsua_init

       å¯åŠ¨ä¸Žå †æ ˆpjsua_start

       ä»Žè¿™é‡Œï¼Œä½ æœ‰å……足的配置选项 （日志、 媒体、 交通工具等）

       æ‚¨å¯ä»¥æ‰¾åˆ°åŸºæœ¬ PJSIP 教程在这里，和里面 pjsip 的源的根路径，你有一个基本 （但不够完整，基本的 SIP 使用情况） 在：pjsip-apps/src/samples/simple_pjsua.c

       ç¼–辑：在生成时在 pjsip 应用程序的 android 项目，你可以面临一个问题，因为 pjsua app 不生成默认情况下，对一般生成 （更具体地说，pjsua： 目标不包括所有上： 在 pjsip-应用程序/生成/生成文件的目标)。若要修复这只是转到 pjsip-应用程序/创建和运行：

       ä½¿ pjsua

       è¿™å°†åˆ›å»ºåœ¨æ­£ç¡®çš„对象文件: pjsip-apps/build/output/pjsua-arm-unknown-linux-androideabi/ (需要构建 android 样本时)。

       ä¸€æ—¦ä½ æ‰€æœ‰ç›¸åº”的对象文件，您可以在 pjsip-应用程序/src/pjsua/android 系统再次运行 ndk 生成

sip协议如何用C语言实现

       1、开源的sip服务器端，比较好用的是Asterisk，标准C程序实现，代码清晰。

       2、sip的client相对比较多，主要有exosip,pjsip和opal。exosip简单易用，在PC上用比较方便。但是涉及的相关资源太多，用了osip,srtp,ms2等众多的开源库，ms2下面还用到了ffmpeg，别的不说，光编译就是噩梦。opal功能最强，虽然也用到了ffmpeg ，但是自己封装的非常好，采用插件方式，调用灵活。opal采用class方式提供封装，接口非常友好。感觉唯一不爽的地方，就是低层使用了ptlib，虽然多平台下都很好用，但放在嵌入式下感觉稍庞大了一些。pjsip精巧，方便移植，嵌入式下应该是首选。不过视频频支持方面扩展起来比opal麻烦。个人感觉，对于windows开发者来说，pjsip最大的好处就是代码调试方便。整个工程一次编译通过，另外两个库还要找很多相关的资源

       ã€‚

       3、其他的一些协议栈也调试过，比如reSipphone，好象是这个名字，还有Yate，不过从快速开发角度看，都不太合适。现在搞sip开发的，一开始就是先找好协议栈。linphone,ekiga什么的，但庞大。对于刚开始做的，最好是一个精简的demo。后来找到pjsip下面的几个例子，慢慢地了解了sip的工作流程，当然少不了抓包工具和tcpdump。

       ä¸è¿‡ï¼Œå…¶å®žï¼Œsip没有想象中的那么麻烦。现在回头看，刚开始做项目，使用协议栈绝对不是好想法。如果换个方向，先熟悉SIP基本协议，然后自己改造一个，或完全写一个，可能效果更好。