Мы получили грант-субсидии Комитета по науке и высшей школе (КНВШ) Правительства Санкт-Петербурга для молодых кандидатов наук и для молодых ученых:

• Рюмин Д.А. «СурдоМед: Математические средства и интеллектуальная система для коммуникации медицинских работников с пациентами, страдающих глухотой или испытывающих проблемы со слухом»

  Основная цель данного проекта заключается в разработке интеллектуальной медицинской системы “СурдоМед” с применением передовых математических средств (нейросетевых моделей, методов и алгоритмов) для улучшения коммуникации медицинского персонала с пациентами, страдающими глухотой или нарушениями слуха. Данный научный проект имеет перспективы внедрения на всей территории России и способствует совершенствованию медицинской сферы. Использование ассистивных технологий для распознавания жестов делает его особенно значимым, улучшая коммуникацию и обеспечивая доступ к качественной медицинской помощи для всех пациентов, включая людей с нарушениями слуха.

   

• Иванько Д.В. «Разработка и исследование автоматической системы распознавания эмоциональной речи пользователя на основе обработки аудиовизуальной информации»

  Цифровые персональные помощники, диалоговые системы и мобильные системы распознавания речи становятся все более распространенными с развитием технологий машинного обучения и искусственного интеллекта. В ходе данного проекта были получены принципиально новые научные результаты и решения по аудиовизуальному распознаванию эмоционально окрашенной речи, которые окажут существенное влияние на дальнейшее развитие российских речевых технологий. Возможными потребителями ожидаемых результатов могут быть отечественные государственные и коммерческие компании. Обоснованность и достоверность полученных результатов подтверждена результатами экспериментальных исследований, с представлением основных результатов в цикле научных публикаций. Уровень исследования находится в соответствии с существующими мировыми стандартами. В результате научного проекта выбрана оптимальная архитектура нейросетевой модели, произведено ее обучение и разработан метод для распознавания эмоционально окрашенной аудиовизуальной речи.

   

• Маркитантов М.В. «Разработка и исследование новых аудиовизуальных методов распознавания эмоций в сложных условиях с использованием нейросетевых технологий на основе кросс-модального внимания»

  Понимание и распознавание эмоций является фундаментальными основами человеческого общения, способствуя эмпатии, социальным связям и эффективному принятию решений. В реальных условиях лицо человека может быть закрыто маской или различными предметами одежды, что затрудняет правильную работу систем распознавания различных состояний человека, в том числе и эмоций, что доказала пандемия COVID-19. Использование масок, которые обычно закрывают рот и часть носа, уменьшает диапазон речевых и лицевых характеристик, которые можно наблюдать и анализировать. Интерпретация невербальных сигналов и распознавание эмоций, мыслей и намерений других людей в этих условиях становится затруднительным. Целью исследования является разработка нового бимодального метода распознавания эмоций в условиях частично закрытого лица маской с помощью нейросетевых моделей на основе кросс-модального внимания. В результате проекта создана высокопроизводительная система автоматического аудиовизуального распознавания эмоций в условиях частично закрытого лица маской на базе искусственных нейронных сетей с кросс-модальным вниманием.

   

• Рюмина Е.В. «Исследование и разработка математических средств и интеллектуальной системы для автоматической невербальной оценки персональных качеств личности человека»

  В проекте предложены математические средства (нейросетевые модели и методы) и интеллектуальная система для автоматической невербальной оценки персональных качеств личности человека. Разработанные математические средства и интеллектуальная система анализируют аудиовизуальную информацию, получаемую от человека, с целью оценивания пяти личностных качеств: открытость опыту, добросовестность, экстраверсия, доброжелательность и эмоциональная стабильность. Отличительной особенность разработанных математические средств и интеллектуальной системы является использование нейросетевых технологий, которые комплексируют аудиовизуальные признаки, построенные на различных принципах (экспертных и нейросетевых). Разработанные в рамках проекта математические средства и интеллектуальная система для автоматической невербальной оценки персональных качеств личности человека позволят улучшить человеко-машинное взаимодействие за счет внедрения их в интеллектуальные системы управления персоналом, мониторинга психологического здоровья людей, построения образовательных траекторий и другое.

   

• Двойникова А.А. «Разработка подхода к многозадачной классификации различных психологический состояний человека»

  В проекте предложен подход к многозадачной классификации различных психологических состояний человека. Целью данного проекта является повышение точности распознавания различных психологических состояний человека за счет применения подходов к многозадачной классификации. В ходе проекта будет выполнен аналитический обзор информационного обеспечения по тематике исследования, выполнена предобработка корпусов данных для многозадачной классификации различных психологических состояний, разработан подход для многозадачной классификации различных психологических состояний, произведено тестирование разработанного подхода на выбранных корпусах данных. Научная новизна результатов проекта заключается в том, что разработанная система распознает не одно психологическое состояние человека, а сразу несколько, что является подтверждением теоретических и практических исследований в области психологии. Практическая ценность исследования состоит в том, что разрабатываемый подход позволяет повысить точность систем автоматического распознавания различных психологических состояний. Системы распознавания психологических состояний человека применимы в различных областях: образовательной сфере, маркетинге, мониторинге и др.