Наша лаборатория опубликовала статью в международном журнале Pattern Recognition Letters (Scopus, Q1):

Ryumina E., Markitantov M., Ryumin D., Karpov A. Gated Siamese Fusion Network based on Multimodal Deep and Hand-Crafted Features for Personality Traits Assessment // Pattern Recognition Letters. Elsevier, 2024, vol. 185, pp. 45-51 (WOS Q2 IF=3.9, Scopus SJR=1.4 Q1 AI)

Люди склонны судить о других, оценивая их личностные качества на основе жизненного опыта. Этот факт особенно очевиден при принятии взвешенного решения о найме работников, которое должно учитывать не только навыки, но и соответствие ценностям и культуре компании. Исходя из этого предположения, мы используем сиамскую сеть для оценки пяти личностных качеств путем попарного анализа и одновременного сравнения людей. Для этого мы предлагаем фреймворк OCEAN-AI на основе Gated Siamese Fusion Network (GSFN), который состоит из шести модулей и позволяет объединить ручные и глубокие признакив трех модальностях (видео, аудио и текст). Мы используем корпуса ChaLearn First Impressions v2 (FIv2) и Multimodal Personality Traits Assessment (MuPTA) и исследуем, все шесть наборов признаков и их комбинации. Эти признаки содержат различную информацию, что позволяет фреймворку гибко подстраиваться под разнородные входные данные. Экспериментальные результаты показывают, что попарное сравнение людей с одинаковыми или разными чертами личности (ЧЛ) во время обучения повышает эффективность предложенного фреймворка. По средней точности (mACC) на корпусе FIv2 фреймворк превосходит современные системы, основанные на трех модальностях (видео-лицо, аудио и текст), на 1,3% (0,928 vs 0,916). Система также превосходит современный подход на 8,6% (CCC=0,667 против CCC=0,614) при использовании двух модальностей (видео и аудио) на корпусе MuPTA. Мы выкладываем наш фреймворк в открытый доступ, чтобы интегрировать его в различные приложения, такие как рекрутинг, образование и здравоохранение.