Nouvelle approche de reconnaissance multimodale des émotions

Abstract

Au cours de la dernière décennie, les systèmes intelligents ont fourni des services publics, ce qui a entraîné un changement important dans le milieu de vie des gens, mais il reste encore de nombreux problèmes à régler pour s’assurer qu’ils travaillent ensemble de façon sécuritaire, fiable et efficace. La recherche dans le domaine l’IA mettra dorénavant l’accent sur la résolu- tion de ces problèmes. Nous avons axé nos recherches sur la reconnaissance des émotions afin d’élaborer une stratégie intelligente pour proposer un système multimodal de reconnaissance des émotions. Pour construire notre propre système, nous avons d’abord créer un modèle basé sur des techniques d’apprentissage profond où l’audio et le texte ont été sélectionnés dans le processus de reconnaissance des émotions multimodale. Nous avons utilisé les caractéristiques du domaine des fréquences comme entrées à la source audio et nous utilisons la procédure de tokanisation pour traiter les textes et les utilités comme entrées à la source du texte. Pour réaliser ce système, nous avons introduit une technique d’intégration appelée "Fusion Network " qui vise à obtenir de meilleures performances en incluant des modèles et en combinant plusieurs résultats de réseaux neuronaux indépendants. Pendant la phase expérimentale, le système de reconnaissance des émotions multi- modale a été développé dans l’environnement colab avec l’ensemble de données IEMOCAP, permettant la création d’un modèle de prédiction sophistiqué avec un taux de précision de 72%.