Лаборатория речевых и многомодальных интерфейсов

Мы получили гранты РНФ и президента, а лаборатория удостоена статуса ведущей научной школы

Мы получили гранты Российского Научного Фонда (РНФ):

  • РНФ № 21-71-00141 «Исследование и разработка новых методов и подходов к автоматическому распознаванию жестовых языков»

    Руководитель: Рюмин Дмитрий Александрович
    Сроки проекта: 2021-2023
    Целью проекта является разработка информационного, математического и программного обеспечения, позволяющего улучшить имеющиеся на сегодня результаты в области автоматического распознавания информации, передаваемой посредством жеста, в том числе, жестовых языков. Разрабатываемый прототип системы будет поддерживать распознавание русского жестового языка. Полученные в ходе проекта результаты будут чрезвычайно важны потому, что будут способствовать повышению качества жизни людей с ограниченными возможностями здоровья, в частности, инвалидов по слуху.

     

  • РНФ № 21-71-00132 «Разработка и исследование интегральной системы распознавания аудиовизуальной речи с использованием глубоких нейронных сетей»

    Руководитель: Иванько Денис Викторович
    Сроки проекта: 2021-2023
    Основной целью проекта является разработка и исследование интегральной системы автоматического распознавания аудиовизуальной речи с использованием глубоких нейронных сетей. Задачами данного проекта являются разработка, теоретические и экспериментальные исследования математического, программного и информационно-лингвистического обеспечения для интегральной системы аудиовизуального распознавания речи. Полученные в ходе данного проекта результаты будут востребованы для дальнейших фундаментальных исследований и разработок в области речевых технологий, диалоговых систем, человеко-машинного взаимодействия и искусственного интеллекта.

     

  • РНФ № 22-21-00843 «Автоматическое распознавание речи для малоресурсных языков России (на примере карельского языка)»

    Руководитель: Кипяткова Ирина Сергеевна
    Сроки проекта: 2022-2023
    Целью проекта является разработка прототипа системы автоматического преобразования речи на карельском языке в текстовую форму. Разрабатываемая система распознавания речи может быть использована для голосового машинного перевода с карельского на русский. Кроме того, системы автоматического распознавания речи могут быть использованы для компьютерного стенографирования речи на малоресурсных языках и языках, находящихся под угрозой исчезновения, с целью их документирования и изучения.

     

Кроме того, мы получили грант Президента и наша лаборатория удостоена статуса ведущей научной школы:

  • Грант Президента: № МК-42.2022.4 «Исследование влияния эмоционального состояния диктора на распознавание аудиовизуальной речи»

    Руководитель: Иванько Денис Викторович
    Сроки проекта: 2022-2023
    Основной целью проекта является комплексное исследование влияния различных эмоциональных состояний диктора (таких как страх, гнев, грусть, счастье и пр.) на точность автоматического распознавания речи по аудио- и видеоинформации. Результаты исследований приведут к повышению эффективности (точности и надежности) современных автоматических систем распознавания эмоционально окрашенной речи, основанных на обработке аудио- и видеоинформации. А также будут заполнены пробелы в фундаментальных знаниях о влиянии различных эмоциональных состояний диктора на точность автоматического распознавания речи.

     

  • Научная школа: № НШ-17.2022.1.6 «Математическое и программное обеспечение многомодального анализа поведения участников виртуальной коммуникации»

    Руководитель: Карпов Алексей Анатольевич
    Сроки проекта: 2022-2023
    Цель проекта - разработка и экспериментальные исследования математического и программного обеспечения многомодального анализа поведения участников виртуальной коммуникации, выражающегося в проявлениях эмоций и степени вовлеченности участников коммуникации посредством аудио- и видеоинформации (мимики и жестов), с использованием методов искусственного интеллекта.