Лаборатория речевых и многомодальных интерфейсов

Мы получили гранты РНФ и молодых ученых, а лаборатория удостоена статуса ведущей научной школы

Мы получили гранты Российского Научного Фонда (РНФ):

  • РНФ № 21-71-00141 «Исследование и разработка новых методов и подходов к автоматическому распознаванию жестовых языков»

    Руководитель: Рюмин Дмитрий Александрович
    Сроки проекта: 2021-2023
    Целью проекта является разработка информационного, математического и программного обеспечения, позволяющего улучшить имеющиеся на сегодня результаты в области автоматического распознавания информации, передаваемой посредством жеста, в том числе, жестовых языков. Разрабатываемый прототип системы будет поддерживать распознавание русского жестового языка. Полученные в ходе проекта результаты будут чрезвычайно важны потому, что будут способствовать повышению качества жизни людей с ограниченными возможностями здоровья, в частности, инвалидов по слуху.

     

  • РНФ № 21-71-00132 «Разработка и исследование интегральной системы распознавания аудиовизуальной речи с использованием глубоких нейронных сетей»

    Руководитель: Иванько Денис Викторович
    Сроки проекта: 2021-2023
    Основной целью проекта является разработка и исследование интегральной системы автоматического распознавания аудиовизуальной речи с использованием глубоких нейронных сетей. Задачами данного проекта являются разработка, теоретические и экспериментальные исследования математического, программного и информационно-лингвистического обеспечения для интегральной системы аудиовизуального распознавания речи. Полученные в ходе данного проекта результаты будут востребованы для дальнейших фундаментальных исследований и разработок в области речевых технологий, диалоговых систем, человеко-машинного взаимодействия и искусственного интеллекта.

     

  • РНФ № 22-21-00843 «Автоматическое распознавание речи для малоресурсных языков России (на примере карельского языка)»

    Руководитель: Кипяткова Ирина Сергеевна
    Сроки проекта: 2022-2023
    Целью проекта является разработка прототипа системы автоматического преобразования речи на карельском языке в текстовую форму. Разрабатываемая система распознавания речи может быть использована для голосового машинного перевода с карельского на русский. Кроме того, системы автоматического распознавания речи могут быть использованы для компьютерного стенографирования речи на малоресурсных языках и языках, находящихся под угрозой исчезновения, с целью их документирования и изучения.

     

  • РНФ № 22-11-00321 «Интеллектуальная система многомодального распознавания аффективных состояний человека»

    Руководитель: Карпов Алексей Анатольевич
    Сроки проекта: 2022-2024
    Основной целью данного проекта РНФ является разработка и исследование новой интеллектуальной компьютерной системы для многомодального анализа поведения людей с целью распознавания проявленных аффективных состояний на основе аудио, видео и текстовых данных от человека. Особенностью системы будет являться то, что она сможет осуществлять многомодальный анализ, т.е. одновременно автоматически анализировать речь и видеоданные пользователя, а также смысл его высказываний на предмет определения различных психоэмоциональных (аффективных) состояний человека, в том числе эмоций, сентимента, агрессии и депрессии. При этом целевая аудитория разрабатываемой автоматической системы будет включать не только русскоязычное население, а любого человека вне зависимости от пола, возраста, расовой принадлежности и языка. Таким образом, данное исследование является актуальным и масштабным как в рамках российской, так и мировой науки.

     

Кроме того, мы получили грант Президента и наша лаборатория удостоена статуса ведущей научной школы:

  • Грант Президента: № МК-42.2022.4 «Исследование влияния эмоционального состояния диктора на распознавание аудиовизуальной речи»

    Руководитель: Иванько Денис Викторович
    Сроки проекта: 2022-2023
    Основной целью проекта является комплексное исследование влияния различных эмоциональных состояний диктора (таких как страх, гнев, грусть, счастье и пр.) на точность автоматического распознавания речи по аудио- и видеоинформации. Результаты исследований приведут к повышению эффективности (точности и надежности) современных автоматических систем распознавания эмоционально окрашенной речи, основанных на обработке аудио- и видеоинформации. А также будут заполнены пробелы в фундаментальных знаниях о влиянии различных эмоциональных состояний диктора на точность автоматического распознавания речи.

     

  • Научная школа: № НШ-17.2022.1.6 «Математическое и программное обеспечение многомодального анализа поведения участников виртуальной коммуникации»

    Руководитель: Карпов Алексей Анатольевич
    Сроки проекта: 2022-2023
    Цель проекта - разработка и экспериментальные исследования математического и программного обеспечения многомодального анализа поведения участников виртуальной коммуникации, выражающегося в проявлениях эмоций и степени вовлеченности участников коммуникации посредством аудио- и видеоинформации (мимики и жестов), с использованием методов искусственного интеллекта.