Лаборатория речевых и многомодальных интерфейсов

Метод выявления депрессии и болезни Паркинсона по видео опубликован в Big Data and Cognitive Computing (Q1)

Наша лаборатория опубликовала статью в международном журнале Big Data and Cognitive Computing (Scopus, Q1):

Ryumina E., Axyonov A., Dolgushin M., Ryumin D., Karpov A. DEPART: Multi-Task Interpretable Depression and Parkinson's Disease Detection from In-the-Wild Video Data // Big Data and Cognitive Computing, 2026, vol. 10(3), 89. (WOS IF=5.3 Q1, Scopus SJR=1.033 Q1)

Автоматическое выявление депрессии и болезни Паркинсона по видеоданным может способствовать развитию масштабируемых и неинвазивных систем мониторинга состояния здоровья. Однако существующие методы часто ориентированы только на одно заболевание и обладают ограниченной интерпретируемостью, тогда как в реальных данных различные состояния могут встречаться одновременно. В работе представлен новый интерпретируемый многозадачный подход DEPART (DEpression & PArkinson's Recognition Technique) для одновременного выявления депрессии и болезни Паркинсона по видеозаписям, полученным в неконтролируемых условиях. Подход включает выделение областей тела, извлечение визуальных признаков с помощью CLIP, временное моделирование на основе Transformer и prototype-aware классификацию с механизмом gated fusion. Для интерпретации решений модели используются градиентные карты внимания, позволяющие визуализировать области изображения, наиболее значимые для каждой из задач. Эксперименты проведены на корпусе In-the-Wild Speech Medical (WSM). Многозадачная модель достигла Recall=82.39% для выявления депрессии и Recall=78.20% для болезни Паркинсона. Анализ ошибок показал влияние особенностей разметки, статического визуального содержимого и отдельных ошибок детектирования тела. После очистки тестовых данных многозадачная модель достигла Recall=87.50% для депрессии и Recall=86.14% для болезни Паркинсона. Полученные результаты демонстрируют перспективность совместного и интерпретируемого анализа нескольких заболеваний по видеоданным, записанным в реальных условиях.