引用本文:
  •    [点击复制]
  •    [点击复制]
【打印本页】 【在线阅读全文】 【查看/发表评论】【下载PDF阅读器】【关闭】

←前一篇|后一篇→

过刊浏览    高级检索

本文已被:浏览 232次   下载 191次
大语言模型结合视觉传感的抑郁症筛查方法研究
张嗣勇,何天祥,张继远,徐瑞吉,毛科技,钱晓峰
浙江工业大学计算机科学与技术学院;浙江工业大学之江学院
摘要:目前,抑郁症筛查面临视觉传感设备算力不足导致时空特征提取能力弱与复杂模型难以部署的双重挑战,导致筛查关键要素时空特征的缺失,进而影响现有方案的准确率。基于此,提出一种融合大语言模型与视觉传感的抑郁症筛查方法,通过视觉传感设备获取人脸表情序列,引入大语言模型生成人脸表情结构化文本语义特征,结合视频时空特征进行交叉注意力对齐,构建时空语义敏感权重矩阵,设计双分支协同融合策略,通过加权融合与通道整合实现特征权重分配,最后结合残差学习增强网络表达能力。在AVEC2013和2014数据集上RMSE和MAE分别达6.92/5.45与6.89/5.14,有效增强了动态特征捕捉能力和融合效果,为抑郁症筛查提供了高鲁棒性的视觉传感解决方案。
关键词:  视觉传感  抑郁症筛查  时空语义  特征融合  大语言模型
Abstract:
Key words:  

用微信扫一扫

用微信扫一扫