Main Images


Bivariate-Beta LSTM

2020.11.26 17:42

문일철 Views:285

bblstm.png

 

 

기존의 LSTM 내에 존재하는 gate 구조는 0과1 사이의 값을 잘 표현하지 못하며, 각 gate 사이의 관계성에 대한 모델링 부재하여 주어진 data의 맥락을 파악하기가 쉽지 않음. 이를 해결 하기 위해, 0과1 사이를 유연하게 표현하면서 gate 들 사이의 관계성도 모델링할 수 있는 bivariate Beta distribution 기반의 일반화된 새로운 gate 구조 제안. Text classification, image classification, polyphonic music, image caption generation 등의 task에서 향상된 성능 확인.

 

The gate structure of LSTM can not represent the value between 0 and 1 flexibly, and there is no correlation modeling between gates. The lack of flexibility and correlation hinders to capture the context of the given data. To solve this problem, we propose a new bivariate Beta distribution-based generalized gate structure that represents a value between 0 and 1 flexibly with correlation. We validate the performance improvement on text classification, image classification, polyphonic music, and image caption generation task.

 

Kyungwoo Song, JoonHo Jang, Seung jae Shin and Il-Chul MoonBivariate Beta-LSTM. AAAI Conference on Artificial Intelligence (AAAI 2020). New York. Feb. 7-12 (Acceptance Rate : 20.6%)