Gated Mechanism For Attention Based Multimodal Sentiment Analysis
Abstract
Multimodal Sentiment Analysis(이하 msa)는 최근 인기를 얻고 있는데 그 이유는 social media가 발전하고 있기 때문이다.
이 논문에서는 msa의 세 가지 면을 소개한다.
- 얼마나 많은 modality가 sentiment에 기여하는지
- 장기 의존성을 해결할 수 있는지
- unimodal의 fusion과 cross modal cue
이 세가지 면에서 cross modal interaction을 배우는 것이 이 문제를 해결하는데 효과적인 것을 알 수 있었다.
CMU-MOSI나 CMU-MOSEI 데이터셋에서 좋은 성능을 보였다.
1. Introduction
Facebook, Whatsapp, Instagram and YouTube와 같은 소셜 미디어들이 발전하면서 sentiment analysis가 중요해졌다. msa는 acoustic, visual, textual를 같이 사용한다.
msa를 하는 방법에는 다음 세 가지 타입이 있다.
- modality를 각각 학습하고 output을 fuse 하는 방법
- 여러 개의 modality를 jointly 학습하는 방법
- attention based technique을 사용해서 각 unimodal들이 얼마나 기여하는지 알아보는 방법
그래서 더 나은 cross modal information을 배우기 위해서 cross interaction 동안 정보를 조절하는 conditional gating mechanism을 제안한다.
게다가 video에서 장기 의존성을 잡기 위해서 각 unimodal contextual representation에 self-attention layer를 적용한다. self-attention을 사용하는 장점은 direct interaction을 가능하게 하고, network에서 제한없는 information flow를 제공한다.
논문에서 제안하는 방법에서 중요한 것은 다음과 같다.
- cross interaction간에 정보를 조절할 수 있는 gating mechanism을 배운다.
- self-attend가 장기 의존성을 잡을 수 있다.
- self 및 gated 기반의 recurrent layer는 더 정확한 multimodal을 얻을 수 있다.
2. Proposed Approach
학습가능한 gate에 의해 조절되는 서로 다른 modality사이에 interaction을 배우는 것이 목적이다. 전체적인 구조는 아래와 같다.
2.1 Contextual Utterance Representation
Bi-GRU를 통해서 각 modality에서 specific contextual representation을 얻는다. 다음은 text를 뜻하는 representation이다.
2.2 Self Attention
장기 의존성을 잡기 위해서 bilinear attention을 사용한다. 100개의 utterance가 있어도 self-attention은 장기 context를 잡을 수 있다. Text에 대해서 다음과 같이 계산한다.
2.3 Cross Attention
msa는 서로 다른 modality간에 interaction을 배울 기회를 제공한다. modality를 두 쌍씩 묶어서 co-attention matrix를 배운다.
2.4 Gating Mechanism for Cross Interaction
imperfect modality을 fusing하는 문제가 생기게 된다.
각 modality에서 발생하는 noise를 해결하기 위해서 선택적으로 cross fused vector를 배우기 위해 gating mechanism을 제안한다.
gated cross fused vector는 다음과 같이 얻는다.
여기서 fusion kernel fusion(,)은 gated combination of cross interaction과 contextual representation을 사용한다.
Cross interaction인 X(P,Q)은 P는 cross attended vector, Q는 contextual representation인 비선형변환이다. Gating function인 G(P,Q)은 cross interaction에서 다음 layer로 pass되는 정보를 조절한다.
따라서 최종 계산은 다음과 같다.
modality의 특성이 보완적인 경우, gating function은 cross interaction을 선호하기 때문에 더 높은 값을 가질 것이다. 반면에 그렇지 않은 경우 contextual representation을 선호할 것이고, 낮은 값을 가질 것이다.
2.5 Deep Multimodal Fusion
self 와 gated cross interaction을 합하기 위해 Bi-GRU를 사용해서 합친다.
3. Experiments
3.1 Dataset
CMU-MOSI와 CMU-MOSEI를 사용한다. values가 0 이상이면 긍정으로 반대면 부정으로 했다.
3.2 Implementation Details
word feature에 대해서는 Glove를 사용했고, visual은 Facets, acoustic은 CovaRep을 사용했다.
3.3 Results and Analysis
3.3.1 Baselines and Ablation Study
제안한 방법을 분석하기 위해서 여러 실험을 수행했다.
B1 : unimodal
B2 : B1+Self+Attention
B3 : bimodal baseline
B4 : gating mechanism
B6 : our model
3.3.2 Benchmarking
종합적으로 비교하기 위해서 다른 multimodal sentiment analysis와 비교해보았다.
제일 좋았다.
4. Conclusions and future work
self-attention과 gating mechanism을 사용해서 msa를 발전시켰다.
gating 함수는 unimodal한 정보가 sentiment를 결정하기 충분하지 않을 때 cross-interaction을 강화하고, 충분하다면 cross-modal information에 낮은 가중치를 부여한다.
앞으로는 audio 데이터의 질이 낮은 실제 데이터에도 적용해보는 것이 목적이다.