Лаборатория речевых и многомодальных интерфейсов

Корпус Multimodal Personality Traits Assessment (MuPTA)

Multimodal Personality Traits Assessment (MuPTA)
30 информантов: 15 мужчин, 15 женщин
Возраст: 19-86 (mean: 40.83, STD: 19.01)
Общая длительность: 7 ч. 32 мин. 32 сек.
Длительность высказываний: 0,45 сек. - 172,7 сек.
Устройства записи: iPhone XS Max (левый канал), iPad Pro (центральный канал), iPhone XS Max + Boya BY-M1 (правый канал)
Параметры аудио: 48 кГц, 16 бит, моно (PCM WAV)
Параметры видео: 4K 3840x2160 пикселей, 60 (для смартфонов) и 30 (для планшета) кадров в секунду (MOV)
Объем данных: ~51 Гб
Примеры файлов из корпуса MuPTA: скачать

Сбор корпуса

Корпус MuPTA записывался в офисных условиях и предназначен для многомодального оценивания персональных качеств личности человека. Для сбора мультимедийных данных использовались три устройства видеозаписи с разными углами и расстояниями до дикторов (для обучения надежной визуальной модели по видео с разных углов обзора). Каждое устройство имеет свой микрофон, поскольку два устройства равноудалены от диктора, то один встроенный микрофон был заменен на петличный и расположен ближе к диктору. Такой подход добавляет речевому сигналу некоторую вариативность: каждый микрофон выдает разный речевой сигнал в зависимости от своих характеристик (чувствительности, направленности, уровня шума и т. д.).

В записи корпуса приминало участие 30 человек. Каждый человек выполнял три различные задачи:

  1. рассказывал краткую информацию о себе;
  2. описывал действия, представленные на двух картинках;
  3. прочитывал вслух несколько предложений по сценарию (для чтения был подготовлен список из 40 предложений). Предложения были взяты из фонетически сбалансированного текста «Был тихий, серый вечер» [Степанова С. Б. Фонетические свойства русской речи: реализация и транскрипция: Дис. канд. филол. наук. Л., 1988]. Этот текст был тщательно отобран для изучения речевых моделей и вариаций речи носителей русского языка с отличительными фонетическими особенностями, что позволяет составить полный речевой профиль говорящего.

Аннотирование корпуса

Корпус MuPTA аннотирован на модель большой пятерки качеств: Открытость опыту (Openness to experience), Добросовестность (Conscientiousness), Экстраверсия (Extraversion), Доброжелательность (Agreeableness), Эмоциональная нестабильность (Neuroticism). Каждый диктор (информант) заполнил анкету самооценки на 60 вопросов [Soto CJ, John OP. The next Big Five Inventory (BFI-2): Developing and assessing a hierarchical model with 15 facets to enhance bandwidth, fidelity, and predictive power // J Pers Soc Psychol. 2017. Vol. 113(1). pp. 117-143. doi: 10.1037/pspp0000096]. Это стандартный вопросник, используемый для оценки характеристик большой пятерки. Адаптированные версии анкет для русского языка представлены в [Shchebetenko, S.A. The Best Man in the World: Attitudes Toward Personality Traits. Psychology // Journal of Higher School of Economics. 2014. Vol. 11(3). pp. 129-148]. Все вопросы оцениваются от 1 до 5 баллов по шкале Лайкерта. Все баллы нормализованы в диапазоне [0, 1]. Кроме того, каждый информант предоставил следующую информацию о себе: пол, семейное положение, образование и род занятий. Перед сбором данных всех информантов попросили заполнить форму информированного согласия.

Отличительные особенности корпуса

Корпус MuPTA отличается от других корпусов, собранных для задачи оценивания персональных качеств, тем что он содержит аудиовизуальные записи от 30 носителей русского языка с равномерным распределением по полу и возрасту, а также включает как спонтанную, так и прочитанную речь.

Доступ к корпусу

Этот корпус находится в открытом доступе. Разрешение на использование, но не на воспроизведение или распространение нашего корпуса предоставляется всем исследователям при условии, что будут правильно выполнены следующие шаги:

  • Отправьте письмо Елене Рюминой (ryumina_ev@mail.ru), чтобы получить ссылку на скачивание корпуса и пароль для доступа к его файлам. Ваше письмо ДОЛЖНО быть отправлено с действующего университетского аккаунта и ДОЛЖНО содержать следующий текст:

    1. Тема письма: Соглашение для загрузки набора данных MuPTA.
    2. Имя: <ваши имя и фамилия>
    3. Аффилиация: <Университет, в котором вы работаете>
    4. Отдел: <ваш отдел>
    5. Должность: <ваша должность>
    6. Электронная почта: <должен быть адрес электронной почты указанного выше учреждения>
    
    Я прочитал и согласен с условиями, указанными на веб-странице базы данных MuPTA.
    Эта база данных будет использоваться только в исследовательских целях.
    Я не буду предоставлять какую-либо часть этой базы данных третьим лицам.
    Я не буду продавать какую-либо часть этой базы данных или получать прибыль от ее использования.
    
  • Если вы собираетесь использовать упомянутые выше данные, вы ДОЛЖНЫ сослаться на статью, представленную ниже:

    Ryumina E., Ryumin D., Markitantov M., Kaya H., Karpov A. Multimodal Personality Traits Assessment (MuPTA) Corpus: The Impact of Spontaneous and Read Speech // In Proc. of INTERSPEECH. 2023. pp. 4049-4053.

    или:

    @inproceedings{mupta_corpus,
      title={Multimodal Personality Traits Assessment ({MuPTA}) Corpus: The Impact of Spontaneous and Read Speech},
      author={Elena Ryumina and Dmitry Ryumin and Maxim Markitantov and Heysem Kaya and Alexey Karpov},
      booktitle={Proc. of INTERSPEECH},
      pages={4049--4053},
      year={2023},
      doi={10.21437/Interspeech.2023-1686}
    }