1.李宏毅2023机器学习作业HW04解析和代码分享

李宏毅2023机器学习作业HW04解析和代码分享

       MLSpring - HW4 相关信息：课程主页、金融金融课程视频、源码Kaggle链接、金融金融Sample代码、源码沉梦商城源码GitHub、金融金融Gitee、源码GitCode。金融金融即便Kaggle截止时间已过，源码你仍可在其上提交并查看分数。金融金融但需注意，源码应于截止前选择两个结果进行最后的金融金融负整数源码求补码Private评分。每年数据集大小与特性虽有细微差别，源码但基本一致，金融金融旧代码适用于新一年的源码作业。

       任务目标：多类分类，金融金融性能指标：分类准确度。礼品卡提货源码

       数据解析：数据来自VoxCeleb2子集，随机选取了个演讲者。

       基线：简单基线（0.），中等基线（0.），在total_steps=时，scm视频打赏源码public_score达到0.。简单参考Optuna进行模型自动调参。

       强基线（0.）、Boss基线（0.）。未在PDF中给出Boss基线具体分数，双面伊人粤语源码分数来源于Kaggle。模块未显著提升效果，代码中使用全局变量决定是否使用，欢迎大家提出改进意见。

       消融研究：Self-Attention Pooling与AMSoftmax在epoch=,下的实验。AMSoftmax接受pred_layer输出，尝试接受encoder输出并重新训练全连接层，但效果不佳，可能为代码问题。

       成绩：使用Transformers变体完成Strong基线的提示是转变为Conformer。简单介绍了其模型架构，推荐Pytorch版本源代码。架构包括：SpecAug、Convolution Subsampling、Linear & Dropout、Conformer Block。每个Module使用了残差连接。