| 摘要:目前,抑郁症筛查面临视觉传感设备算力不足导致时空特征提取能力弱与复杂模型难以部署的双重挑战,导致筛查关键要素时空特征的缺失,进而影响现有方案的准确率。基于此,提出一种融合大语言模型与视觉传感的抑郁症筛查方法,通过视觉传感设备获取人脸表情序列,引入大语言模型生成人脸表情结构化文本语义特征,结合视频时空特征进行交叉注意力对齐,构建时空语义敏感权重矩阵,设计双分支协同融合策略,通过加权融合与通道整合实现特征权重分配,最后结合残差学习增强网络表达能力。在AVEC2013和2014数据集上RMSE和MAE分别达6.92/5.45与6.89/5.14,有效增强了动态特征捕捉能力和融合效果,为抑郁症筛查提供了高鲁棒性的视觉传感解决方案。 |
| 关键词: 视觉传感 抑郁症筛查 时空语义 特征融合 大语言模型 |
|
|
|
|
| Abstract: |
| Key words: |