Наша лаборатория приняла участие в 10-м международном соревновании Affective & Behavior Analysis in-the-Wild (ABAW), проходившем в рамках конференции IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR 2026). Воркшоп ABAW состоялся 3 июня 2026 года в Денвере, США. Соревнование было посвящено анализу эмоций и поведения человека в неконтролируемых условиях и включало шесть задач. Команда RAS нашей лаборатории приняла участие в задаче Valence-Arousal Estimation Challenge по непрерывной оценке эмоционального состояния человека и заняла первое место.

В рамках соревнования была опубликована статья:

Ryumina E., Markitantov M., Axyonov A., Ryumin D., Dolgushin M., Dresvyanskiy D., Karpov A. From Faces to Behavior Analysis: Adaptive Multimodal Fusion for Valence-Arousal Estimation in-the-Wild // Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, 10th ABAW Workshop, IEEE, Denver, USA, 2026, pp. 5419–5428.

Непрерывное распознавание эмоций в пространстве валентности и активации (Valence-Arousal) в реальных условиях остаётся сложной задачей из-за значительных различий во внешности людей, положении головы, освещении, частичных перекрытиях лица и индивидуальных особенностях выражения эмоций. В работе представлен новый мультимодальный подход, объединяющий три взаимодополняющих источника информации: лицо, поведение и аудио. Для анализа лица используются покадровые признаки GRADA и временное моделирование на основе Transformer. Поведенческая информация извлекается из видеофрагментов с помощью Qwen3-VL-4B-Instruct, а её временная динамика моделируется архитектурой Mamba. Аудиомодальность основана на WavLM-Large с attention-statistics pooling и включает кросс-модальную фильтрацию для уменьшения влияния ненадёжных фрагментов и участков без речи. Для объединения модальностей исследованы две адаптивные стратегии слияния: Directed Cross-Modal Mixture-of-Experts и Reliability-Aware Audio-Visual Fusion. Эксперименты проведены на аудиовизуальном корпусе Aff-Wild2 в соответствии с протоколом 10th ABAW Valence-Arousal Estimation Challenge. Лучший мультимодальный подход достиг среднего коэффициента конкордации CCC=0.658 на валидационной выборке и CCC=0.622 на тестовой выборке. По итогам соревнования команда RAS заняла первое место в задаче оценки валентности и активации.