AAAI 2025：基于描述增强的多模态方面级情感分析问答框架（DEQA）

多模态方面级情感分析（MABSA）结合文本和图像，进行针对特定方面的细粒度情感分析，从而增强了对用户意见的理解，在各种应用下都具有重要意义。现有方法通过模态对齐实现图像与文本之间的信息交互与融合，但这两种模态之间存在固有差距，迫切需要一种更加直接的桥接机制，以有效地将图像理解与文本内容相连接。

为此，论文《DEQA: Descriptions Enhanced Question-Answering Framework for Multimodal Aspect-Based Sentiment Analysis》提出了描述增强问答框架（DEQA），该框架利用GPT-4生成图像描述，借助多模态大语言模型提供图像的更直接的语义。在DEQA中，为了帮助模型更好地理解任务的目的，MABSA被转化为一个多轮问答范式，并添加语义指导和提示。该研究将文本、图像和描述输入到多个专家中，并通过不同的组合方式，使每个专家专注于不同的特征，从而提高输入信息的综合利用。通过在多轮问答范式中整合这些专家的输出，多专家集成决策方法被利用来生成最终的预测结果。在两个广泛使用的数据集上的实验结果表明，该方法达到了最先进的性能。此外，DEQA显著优于GPT-4o和其他多模态大语言模型，展示了其在多模态情感分析中的卓越效果。

论文《DEQA: Descriptions Enhanced Question-Answering Framework for Multimodal Aspect-Based Sentiment Analysis》近期发表于AAAI（Association for the Advancement of Artificial Intelligence），硕士生韩之信是文章的第一作者，胡梦婷是文章的通讯作者。

图1：DEQA框架图