Наша лаборатория опубликовала статью в международном журнале Information Fusion (Scopus, Q1):

Markitantov M., Ryumina E., Dvoynikova A., Karpov A. Multi-Lingual Approach for Multimodal Emotion and Sentiment Recognition Based on Triple Fusion // Information Fusion, 2026, vol. 132, 104207. (WOS IF=17.4 Q1, Scopus SJR=4.2 Q1)

Распознавание эмоций и тональности на основе аудио-, видео- и текстовых данных является одной из ключевых задач многомодального анализа человеческого поведения. Многие существующие подходы ориентированы на один язык, один корпус данных или одну задачу, что ограничивает их способность к обобщению. В работе представлен многоязычный многомодальный многозадачный подход для одновременного распознавания эмоций и тональности на русском и английском языках. Предложенная архитектура использует новую стратегию Triple Fusion, объединяющую признаки различных модальностей как на уровне унимодальных представлений, так и после формирования мультимодальных признаков. Эксперименты проведены на русскоязычном корпусе RAMAS и англоязычных корпусах MELD и CMU-MOSEI. Также выполнено сравнение энкодеров на основе Transformer, Mamba и xLSTM и различных стратегий объединения признаков. На тестовой выборке CMU-MOSEI предложенный подход достиг mWF=88.6% для распознавания эмоций и WF=84.8% для анализа тональности; на MELD — WF=49.6% и 60.0%, а на RAMAS — WF=71.8% и 90.0% соответственно. Результаты показывают эффективность предложенного подхода при одновременной работе с различными языками, корпусами и задачами анализа аффективных состояний.