1.С?小助???Դ??
2.第四课：XTuner 微调 LLM:1.8B、多模态、手源Agent
3.使用PerfXCloud快速搭建微信小助手
С?小助???Դ??
想象一下，身边有一个随时待命、手源聪明过人的小助个人AI小助手，只需语音指令就能满足你的手源通达信潜龙拉升指标源码需求。那么，小助如何在5分钟内打造这样一款专属的手源AI呢？本文将带你从零开始，以新手友好的小助方式，一步步搭建语音对话机器人。手源语音对话系统的小助基础构建
一个语音对话机器人的核心由硬件和软件两部分组成，本文主要关注软件部分，手源它通常包括：快速搭建步骤
为了简化过程，小助我们将采用开源技术进行搭建。手源首先，小助使用阿里开源的FunASR进行语音识别，其中文识别效果优于OpenAI Whisper。转卖转卖源码你可以通过以下代码测试：...
大语言模型与个性化回答
利用大语言模型（LLM），如LLaMA3-8B，理解和生成回复。GitHub上已有中文微调的版本，部署教程如下：下载代码
下载模型
安装所需包
启动服务（注意内存优化）
通过人设提示词定制个性化回答
无GPU资源时，可选择调用云端API，后续文章会详细介绍。语音生成（TTS）
使用ChatTTS将文字转化为语音，同样采用FastAPI封装，具体步骤略。前端交互：Gradio
Gradio帮助我们快速构建用户界面，以下是WebUI的代码示例：...
系统搭建完毕与扩展
现在你已经拥有一个基础的语音对话系统，但可以进一步添加更多功能，提升用户体验。如果你觉得本文有帮助，记得点赞支持。forge源码分析 关注我的公众号，获取更多关于AI工具和自媒体知识的内容。如果你想获取源码，请私信关键词“机器人”。第四课：XTuner 微调 LLM:1.8B、多模态、Agent
在本课程中，我们将带领大家体验如何利用XTuner完成个人小助手的微调过程，以实现定制化功能并优化性能。我们将通过对比微调前后的大模型，直观展示微调的效果与重要性。 首先，为了快速上手并对比微调效果，我们将采用上一期课后作业中使用QLoRA方式微调个人小助手的案例。直观对比结果如下： 微调前： 微调后： 明显可见，微调后的btc收款 源码模型能够被调整成我们期望的样子。接下来，我们详细介绍微调的实现步骤。开发环境准备
1. 创建开发环境：访问InternStudio，创建开发机并选择合适的镜像和资源配置，确保具备运行XTuner所需的环境。 2. 进入终端界面，开始操作。 完成准备工作后，即可进入微调之旅。快速上手指南 为帮助您快速上手，我们将提供XTuner运行原理概述和关键步骤指引。环境安装
1. 安装XTuner源码到本地，便于后续使用。 2. 若安装速度较慢，可尝试使用优化方法提高效率。前期准备
数据集准备：创建文件夹，货物溯源码存放训练所需数据，生成包含输入和输出的数据对，根据需求调整数据集大小。 模型准备：选择适合微调的模型，如InternLM2-Chat-1.8B，直接使用代码创建文件夹并复制模型文件。 配置文件选择与修改：根据微调方法（如QLoRA）和模型类型选择配置文件，并根据实际需求进行调整。配置文件修改
完成数据集、模型和配置文件的准备后，通过XTuner工具箱中的工具进行配置文件的复制和修改，确保其符合微调需求。模型训练
1. 使用XTuner启动训练过程，确保文件保存路径正确，以便后续转换和整合。 2. 结合XTuner内置的deepspeed加速训练，选择合适类型（如deepspeed_zero1、deepspeed_zero2或deepspeed_zero3）。 3. 训练完成后，评估模型性能，对比微调前后差异。模型转换与整合
1. 将Pytorch训练的权重文件转换为Huggingface格式。 2. 准备原模型、训练好的adapter层和最终保存路径，使用XTuner指令整合模型。 3. 完成整合后，模型可用于对话测试，验证微调效果。对话测试与部署
1. 使用XTuner提供的对话代码与Huggingface格式模型进行对话，测试模型性能。 2. 部署模型到网页端demo，提供更广泛的用户体验。总结与作业
本课程涵盖了XTuner微调流程的关键步骤，包括环境搭建、数据集准备、模型与配置文件使用、训练、转换与整合、测试与部署。通过实践，您将能掌握微调技术的核心，实现个性化小助手。 完成作业，请访问指定链接。使用PerfXCloud快速搭建微信小助手
使用 www.perfxcloud.cn 大模型平台搭建微信小助手，网站包含详细说明文档。PerfXCloud API 接口兼容 OpenAI 的ChatGPT，允许直接使用 OpenAI SDK 或其他中间件访问，简化了开发者切换平台的过程。微信助手基于大型语言模型，集成了聊天会话、娱乐资讯、查询工具等实用功能，支持文本、语音和，通过插件访问操作系统与互联网。此外，助手支持基于自有知识库定制的企业智能客服。
微信助手开发过程以 /zhayujie/chatgpt-on-wechat/wiki/FAQs 为蓝本。AI助手聊天界面如图所示。本地开发环境支持 MacOS、Windows、Linux，推荐 python 版本在 3.7.1 ~ 3.9.X 之间，可从官网下载。
本地开发步骤包括下载源码、安装依赖、配置文件。使用 git 克隆项目，进入目录，安装所需依赖。复制模板文件 config-template.json，生成最终配置文件 config.json。配置时参考配置说明，包含个人聊天、群组聊天等设置。具体配置如下，包括模型和 API-key（获取方式）。
本地运行：在项目根目录下执行命令运行程序。使用微信扫码完成登录，任意好友发送消息触发自动回复。服务器部署时，使用 nohup 命令后台运行程序，扫码登录后程序即可运行。通过 ctrl+c 关闭日志，使用 ps 命令查看后台进程，必要时重启程序。项目视频教程地址为 bilibili.com/video/BV...，代码地址为 gitee.com/PerfXCloud-AP...
