Данный проект РНФ направлен на решение актуальной проблемы многомодального распознавания когнитивных нарушений людей по анализу их разговорной речи и визуального проявления мимики и поведения с использованием современных методов цифровой обработки сигналов и глубокого машинного обучения. Целью проекта является разработка и исследование интеллектуальной компьютерной системы для многомодального анализа поведения людей с целью распознавания когнитивных нарушений (при таких заболеваниях как болезни Альцгеймера и Паркинсона, деменция, депрессия и др.) на основе аудио, видео и текстовых данных для повышения эффективности и оперативности бесконтактного диагностирования заболевания. Исследования по автоматической диагностике речевых и многомодальных проявлений когнитивных нарушений являются крайне востребованной междисциплинарной областью применения новейших информационных технологий и искусственного интеллекта в обеспечении здравоохранения и благополучия (healthcare and wellbeing) людей. Это объясняется перспективностью использования методов искусственного интеллекта для оперативной, дистанционной и нетребовательной к оборудованию медицинской диагностики, особенно значимой для людей, которые могут быть ограничены в перемещении в силу особенностей возраста, состояния здоровья, либо по причине удаленного места проживания и невозможности очного приема у медицинского специалиста. Такие исследования обязаны соответствовать высоким требованиям к качеству распознавания нарушений со стороны пользователей и специалистов, а также этическим требованиям, поэтому особую актуальность и значимость имеет разработка новых эффективных, надежных и объяснимых методов искусственного интеллекта (explainable AI) для интерпретации принимаемых решений.

В ходе работы над проектом планируется разработать и исследовать новые и усовершенствовать известные модели, методы, алгоритмы и программные решения для комплексного многомодального распознавания когнитивных нарушений людей. В частности, планируется решить актуальные проблемы, связанные с аугментацией (augmentation) обучающих аудиовизуальных данных на различных языках и изучить возможности получения новых языконезависимых наборов признаков и их применения для русскоязычных данных с использованием экспертных, нейросетевых подходов и больших языковых моделей. Также планируется исследовать подходы для машинной классификации (наличия или отсутствия патологии) или регрессии (определения степени тяжести когнитивного заболевания) рассматриваемых когнитивных нарушений, подходы к обеспечению объяснимости экспертных и нейросетевых признаков, вероятностных моделей когнитивных нарушений. Основным результатом данного проекта должен стать прототип интеллектуальной экспертной системы для автоматического распознавания когнитивных нарушений людей на основе комплексного многомодального анализа акустических характеристик голоса, визуальных характеристик мимики, жестов и поведения человека, а также лингвистических составляющих его речевых высказываний. Ожидается, что полученные результаты будут отвечать современным требованиям и стандартам в данной области и находиться на передовом мировом уровне. Практическая и научно-техническая значимость поставленных в проекте задач подтверждается высоким спросом на разрабатываемые технологии на рынке речевых и многомодальных экспертных технологий для обеспечения здравоохранения и благополучия людей, а также большим количеством зарубежных научных публикаций, посвященных данной проблеме в ведущих научных журналах и трудах международных конференций. Разработанная интеллектуальная система будет уникальной в своем роде ввиду возможности комплексного многомодального определения рассматриваемых когнитивных нарушений в речи и многомодальной коммуникации, использования новых наборов анализируемых признаков, а также применения многоуровневых методов анализа с учетом взаимозависимостей между рассматриваемыми когнитивными нарушениями.