Наша лаборатория опубликовала статью в международном журнале Expert Systems with Applications (Scopus, Q1):

Ryumina E., Markitantov M., Ryumin D., Karpov A. OCEAN-AI Framework with EmoFormer Cross-Hemiface Attention Approach for Personality Traits Assessment // Expert systems with applications, 2024, vol. 239, 122441.

Психологические и неврологические исследования ранее предполагали, что тип личности можно определить как по всему лицу, так и по его сторонам. В этой статье рассматривается новое исследование с использованием глубоких нейронных сетей, которые учитывают особенности обеих сторон лица для оценки Большой пятерки персональных качеств личности человека (ПКЛЧ). Для этого мы разработали подход под названием EmoFormer с применением перекрестного внимания к сторонам лица, который может работать в режиме реального времени. Каждоя сторона лица обладает высокими прогностическими возможностями в плане предсказания ПКЛЧ. Наш подход основан на новом экстракторе эмоциональных признаков среднего уровня для каждой стороны лица и стратегии слияния перекрестного внимания для агрегирования признаков каждой стороны лица. Предложенный подход был апробирован на корпусе ChaLearn First Impressions V2. Предложенный подход превзошел все существующие современные подходы к оценке ПКЛЧ по лицу. Мы также проанализировали "рабочие стороны лица" - то, которое точнее предсказывает ПКЛЧ с точки зрения демографических характеристик (пол, этническая принадлежность и возраст). Мы обнаружили, что лучшая сторона лица для двух из пяти ПКЛЧ (открытость опыту и эмоциональная стабильность) отличается в зависимости от демографических характеристик. Для остальных трех черт правая сторона лица доминирует для Экстраверсии, в то время как левая более показательна для Добросовестности и Доброжелательности. Эти результаты подтверждают предыдущие психологические и неврологические исследования. Кроме того, мы предлагаем фреймворк с открытым исходным кодом под названием OCEAN-AI, который может быть легко интегрирован в экспертные системы с практическим применением в различных областях, включая здравоохранение, образование и человеческие ресурсы.