北京邮电大学学报 ›› 2024, Vol. 47 ›› Issue (4): 130-135.
基于多模态特征与增强对齐的细粒度图像分类
韩晶,张天鹏,吕学强
- 北京信息科技大学 网络文化与数字传播北京市重点实验室
Fine-Grained Image Classification Based on Multi-Modal Features and Enhanced Alignment
HAN Jing, ZHANG Tianpeng, LYU Xueqiang
- Beijing Key
Laboratory of Internet Culture and Digital Dissemination Research, Beijing Information Science and Technology University
摘要: 针对现有模型在多模态信息处理过程中存在特征提取不足、信息交互不充分等问题,提出基于多模态特征增强对齐的细粒度图像分类模型。首先,提出层次特征自适应融合模块,以实现多模态特征的多层次自适应融合,从而充分利用卷积中间层的特征信息,增强模型对图像局部细节的感知能力。其次,为提高多模态特征之间的交互维度,提出增强对齐特征融合模块,以充分挖掘不同模态之间的映射关系。实验结果表明,所提模型在多个数据集上均取得了良好的识别效果,优于以往多模态特征融合的模型。同时,消融实验结果表明,2 个模块单独使用的效果均优于原模型,进一步验证了所提模型的有效性。
中图分类号: