1.海思芯片AI模型转换环境配置(MindStudio+ATC)
2.caffe ä¸ä¸ºä»ä¹bnå±è¦åscaleå±ä¸èµ·ä½¿ç¨
3.st-gcn环境搭建
4.Caffe学习(二) —— 下载、试源编译和安装Caffe(源码安装方式)
海思芯片AI模型转换环境配置(MindStudio+ATC)
在配置海思芯片AI模型转换环境时,源码直接在服务器上安装配置可能引发冲突,分析因此推荐在Docker环境中部署转换工具,试源以确保良好的源码隔离性,避免不同开发环境间的分析源码内核怎么使用相互影响。以下是试源在Ubuntu容器中部署海思芯片模型转换相关工具的步骤:
首先,拉取Ubuntu .的源码Docker镜像,检查当前已有的分析镜像。
然后,试源创建一个容器并运行,源码该容器将提供可视化界面,分析便于操作。试源
部署CANN环境,源码为后续使用海思芯片做好硬件准备。分析odbus 源码
安装MindStudio,这是一个用于AI模型开发和调试的集成开发环境。
接下来,安装模型压缩量化工具(如caffe),用于优化模型大小与性能。
部署caffe框架,确保与MindStudio的兼容性。
安装Caffe源代码增强包,扩展caffe的功能与性能。
执行量化操作,通过caffe优化模型的精度与运行效率。
模型转换采用图形开发方式与命令行开发方式,灵活适应不同需求。
完成模型转换后,est 源码进行板端程序编译,确保模型可在海思芯片上正确运行。
同步推理过程,验证模型转换效果。
如果需要,安装模型压缩量化工具(如pytorch),并执行量化操作,以进一步优化模型。
参考《模型压缩工具使用指南(PyTorch).pdf》中第3章内容,深入了解PyTorch量化操作。
配置aiitop sample打包环境,为模型部署做准备(可选)。
容器中配置SSH连接,实现远程访问与管理(可选)。thvtrix 源码
容器导出镜像,方便在不同环境中复用(可选)。
遇到问题时,查阅FAQ寻求解决方案。
本文使用Zhihu On VSCode完成撰写与发布。
caffe ä¸ä¸ºä»ä¹bnå±è¦åscaleå±ä¸èµ·ä½¿ç¨
1) è¾å ¥å½ä¸å x_norm = (x-u)/std, å ¶ä¸uåstdæ¯ä¸ªç´¯è®¡è®¡ç®çåå¼åæ¹å·®ã2ï¼y=alphaÃx_norm + betaï¼å¯¹å½ä¸ååçxè¿è¡æ¯ä¾ç¼©æ¾åä½ç§»ãå ¶ä¸alphaåbetaæ¯éè¿è¿ä»£å¦ä¹ çã
é£ä¹caffeä¸çbnå±å ¶å®åªåäºç¬¬ä¸ä»¶äºï¼scaleå±åäºç¬¬äºä»¶äºï¼æ以两è è¦ä¸èµ·ä½¿ç¨ã
ä¸ï¼å¨Caffeä¸ä½¿ç¨Batch Normalizationéè¦æ³¨æ以ä¸ä¸¤ç¹ï¼
1. è¦é åScaleå±ä¸èµ·ä½¿ç¨ã
2. è®ç»çæ¶åï¼å°BNå±çuse_global_stats设置为falseï¼ç¶åæµè¯çæ¶åå°use_global_stats设置为trueã
äºï¼åºæ¬å ¬å¼æ¢³çï¼
Scaleå±ä¸»è¦å®æ top=alpha∗bottom+betatop=alpha∗bottom+betaçè¿ç¨ï¼åå±ä¸ä¸»è¦æ两个åæ°alphaalphaä¸betabeta,
æ±å¯¼ä¼æ¯è¾ç®åã∂y∂x=alpha;∂y∂alpha=x;∂y∂beta=1ã éè¦æ³¨æçæ¯alphaalphaä¸betabetaå为åéï¼é对è¾å ¥çchannelschannelsè¿è¡çå¤çï¼å æ¤ä¸è½ç®åç认å®ä¸ºä¸ä¸ªfloatfloatçå®æ°ã
ä¸ï¼å ·ä½å®ç°è¯¥é¨åå°ç»åæºç å®ç°è§£æscalescaleå±:
å¨Caffe protoä¸ScaleParameterä¸å¯¹Scaleæå¦ä¸å 个åæ°ï¼
1ï¼åºæ¬æååéï¼åºæ¬æååé主è¦å å«äºBiaså±çåæ°ä»¥åScaleå±å®æ对åºééçæ 注工ä½ã
2ï¼åºæ¬æåå½æ°ï¼ä¸»è¦å å«äºLayerSetup,Reshape ,ForwardåBackward ï¼å é¨è°ç¨çæ¶åbias_term为trueçæ¶åä¼è°ç¨biasLayerçç¸å ³å½æ°ã
3ï¼Reshape è°æ´è¾å ¥è¾åºä¸ä¸é´åéï¼Reshapeå±å®æ许å¤ä¸é´åéçsizeåå§åã
4ï¼Forward åå计ç®ï¼åå计ç®ï¼å¨BNä¸å½ç´§è·çBNçå½ä¸åè¾åºï¼å®æä¹ä»¥alphaä¸+biasçæä½ï¼ç±äºalphaä¸biaså为Cçåéï¼å æ¤éè¦å è¿è¡å¹¿æã
5ï¼Backward åå计ç®ï¼ä¸»è¦æ±è§£ä¸ä¸ªæ¢¯åº¦ï¼å¯¹alpha ãbetaåè¾å ¥çbottom(æ¤å¤çtemp)ã
st-gcn环境搭建
搭建ST-GCN环境的步骤如下:
一、硬件与系统准备
推荐使用基于Ubuntu .的系统,可从浙大官网下载稳定版本的镜像。通过U盘启动制作Ubuntu系统盘,完成格式化后使用深度制作工具进行系统安装。在桌面计算机中使用磁盘管理工具创建Ubuntu分区,一般GB空间足矣。通过BIOS设置将U盘设置为启动优先项,然后开始安装Ubuntu系统。视窗源码
二、安装Python3
在Ubuntu系统中,将Python3设置为默认版本,使用pip进行包管理无需额外命令。在终端中通过快捷键或命令行操作完成Python3的安装。
三、软件源配置
使用国内服务器作为Ubuntu软件源,推荐使用阿里云提供的服务,无需额外配置。如果使用官方镜像,可能需要更新软件源以获取最新软件包。
四、安装显卡驱动
使用NVIDIA显卡的用户,需安装对应版本的驱动程序。通过三种方法之一:官方PPA源安装、下载并编译安装、添加官方PPA源后安装。
五、安装CUDA和cuDNN
检查NVIDIA显卡型号和系统内核版本,确保CUDA版本与驱动匹配。下载CUDA和cuDNN,按步骤安装,确保安装成功并验证。
六、安装Python3的pip虚拟环境
在Python3环境下安装pip,所有pip命令都将在Python3环境中执行。创建虚拟环境管理目录,将虚拟环境添加到环境变量中,并创建Python3虚拟环境。
七、安装torch和torchvision
使用国内源安装torch和torchvision,可永久修改pip安装源。查看Python版本与对应torch版本的关系,确保兼容性。
八、安装cmake
使用cmake配置编译参数,安装cmake和cmake-gui,确保cmake操作顺利进行。
九、安装opencv
可以选择通过apt-get安装opencv-python或从源码构建。构建时注意解压、更新依赖、下载ippicv,确保opencv功能齐全。
十、安装caffe
从openpose提供的链接下载caffe源码,解压后修改Makefile配置参数,编译安装。
十一、安装openpose
在caffe目录下连接openpose,下载源码,配置编译参数,确保兼容性和接口接入,测试安装成功。
十二、安装ffmpeg
下载ffmpeg源码,安装依赖环境,配置并编译安装。推荐使用smplayer作为视频播放软件。
完成上述步骤后,环境搭建就已基本完成。评估官方模型,训练自己的模型,进行样本示例展示。安装视频播放软件,如smplayer,用于观看可视化效果。欢迎指出错误与建议,祝您搭建成功!
Caffe学习(二) —— 下载、编译和安装Caffe(源码安装方式)
采用caffe源码编译安装方式说明
此方法仅适用于编译CPU支持版本的Caffe。推荐通过Git下载以获取更新及查看历史变更。
主机环境配置
系统环境:Ubuntu .
步骤一:安装依赖库与Python 2.7
步骤二:安装CUDA(注意:虽然仅编译CPU版本的Caffe,但安装CUDA时可能会遇到编译错误,需确保环境兼容性)
编译Caffe
步骤一:修改Make.config文件
具体配置说明请参考我的另一篇博客("Hello小崔:caffe(master分支)Makefile.config分析")
步骤二:执行make编译
测试已通过
步骤三:解决编译过程中的错误
错误实例:ImportError: No module named skimage.io
解决方法:执行sudo apt-get install python-skimage
错误实例:ImportError: No module named google.protobuf.internal
解决方法:执行sudo apt-get install python-protobuf
更多错误解决办法,请参阅另一篇博客("Hello小崔:caffe编译报错解决记录")