Лаборатория речевых и многомодальных интерфейсов

Анализ голосовых и лицевых характеристик человека в маске

Анализ голосовых и лицевых характеристик человека в маске

В связи с неожиданным возникновением и стремительным глобальным распространением пандемии коронавируса COVID-19 самой актуальной задачей становится мониторинг уровня безопасности отдельных людей и всего общества в новом мире социального дистанцирования и «масочной» культуры. В последние годы периодическое ношение защитных масок для лица в общественных местах стало абсолютно привычным и обыденным для многих жителей густонаселенных стран Азии (Япония, Сингапур, Малайзия, Китай и др.), так они предохранялись от людей с возможными респираторными заболеваниями, загрязнения воздуха и аллергенов. Именно такая масочная культура и неукоснительное соблюдение карантинных требований населением этих азиатских стран стала основным залогом угасания распространения в них COVID-19. В последние месяцы маски стали элементом и европейской культуры и даже моды, прочно войдя в наш дресс-код. Сейчас и в ближайшие годы имеется актуальная потребность в автоматизированной проверке наличия защитной маски у людей, которые находятся в общественных местах, либо контактируют с инфицированными людьми или входящими в группу риска заражения. Поэтому в рамках данного проекта РФФИ предлагается разработка и исследования новой программной системы для автоматического бимодального анализа голосовых и лицевых характеристик человека в маске.

В ходе 2-летних научно-исследовательских работ будет впервые получен ряд принципиально новых научных результатов: 1) информационное обеспечение - бимодальная русскоязычная база данных (корпус), содержащая разноракурсные изображения лиц людей в различных вариациях защитных масок, а также аудиозаписи слитной русской речи людей в масках, в т.ч. в одноразовых медицинских масках различной плотности, многоразовых тканевых масках различных цветов с рисунками и без, специальных респираторов и других средств защиты слизистых поверхностей лица; 2) новые методы и модели автоматического анализа голосовых характеристик людей по речи, в т.ч. наличия защитной маски при говорении, детектирование кашля, состояния респираторного заболевания и др.; 3) новые методы и модели анализа лицевых характеристик людей по видеоданным, в т.ч. детекции наличия или отсутствия защитной маски на лице, биометрических характеристик открытой части лица (верхней части головы) человека; 4) прототип программной системы для автоматического бимодального анализа голосовых и лицевых характеристик человека в маске.

Результаты данных исследований на основе современных технологий искусственного интеллекта можно будет напрямую использовать в борьбе с распространением вирусных эпидемий (коронавирусов, включая COVID-19, вирусов гриппа, а также других не менее патогенных типов вирусов в будущем) как в России, так в во всем мире.

Результаты за 2020 год

В рамках 1-го этапа проекта РФФИ № 20-04-60529 был выполнен расширенный аналитический обзор в области детектирования средств индивидуальной защиты на лице человека по голосовым и лицевым характеристикам, респираторных заболеваний, а также автоматического распознавания COVID-19 по речи и звукам человека, в том числе доступных на сегодняшний день корпусов аудиовизуальной речи. Разработано программное обеспечение (ПО) для записи видеоданных с целью сбора и аннотирования бимодального корпуса данных с разноракурсными лицами людей в различных вариациях защитных масок и аудиозаписями слитной русской речи людей в масках. Отличительная особенность ПО заключается в возможности захвата и записи видеоданных одновременно с нескольких мобильных устройств в параллельном режиме (до 3-х устройств). Была предложена новая методика создания корпусов речевых аудиовизуальных данных, позволяющая записывать разноракурсные видеоданные и спонтанную речь. С целью решения фундаментальной задачи детектирования средств индивидуальной защиты на лице человека по голосовым и лицевым характеристикам была записана бимодальная русскоязычная база данных (корпус) BRAVE-MASKS, включающая в себя записи 30 дикторов-носителей русского языка. Корпус содержит 44820 видеофайлов в формате MOV, 180 файлов с орфографическим текстом произнесенных фраз в формате TXT, а также около 2 млн. покадрово выделенных изображений из видеозаписей в формате JPG. Корпус был записан с использованием двух смартфонов и одного планшета, управляемых разработанным программным обеспечением для операционной системы iOS. Кроме того, получены предварительные результаты исследований по автоматическому распознаванию наличия/отсутствия защитной маски на лице человека как по видео-, так и аудиоинформации. Предложен подход к созданию синтетического набора видеоданных с помощью метода наложения защитных масок на изображения лиц людей, обучению моделей и тестирования классификаторов.

 

Результаты за 2021 год

В рамках 2-го этапа проекта разработаны и исследованы новые методы и модели анализа голосовых характеристик людей по их естественной речи и аудиосигналам, в т.ч. наличия защитной маски при говорении, распознавания типа защитной маски и детектирование кашля, которые основаны на современных предобученных сверточных нейронных сетях, в том числе PANN, и методах аугментации SpecAugment, а также анализа лицевых характеристик людей по видеоданным, в т.ч. наличия защитной маски на лице и распознавания ее типа. Предложенные методы основаны на предобученных нейронных сетях ResNet, детекторах объектов Yolov5 и методах аугментации Mixup, Insert и Mosaic. Для задачи анализа биометрических характеристик открытой части лица выполнен аналитический обзор современных решений в области аудиовизуального распознавания людей в масках, разработаны и исследованы детерминированный и нейросетевой методы распознавания, последний основан на модели ArcFace. Предложены методы генерации синтетического набора изображений и видеоданных для увеличения объема обучающих данных с помощью метода наложения защитных масок на изображения лиц людей. Разработана программная система автоматического бимодального анализа голосовых и лицевых характеристик человека в маске, и проведены экспериментальные исследования с ней. Программное обеспечение в режиме реального времени получает аудиоданные с микрофона и последовательности изображений с видеокамеры, производит предварительную обработку сигналов, извлечение признаков, вычисление вероятностного прогноза и объединение полученных предсказаний результатов распознавания. Объединение информации от разных модальностей происходит на последнем уровне предсказаний/гипотез распознавания. Экспериментальные исследования показали, что комбинация аудио- и видеомодальностей позволяет компенсировать слабые места одномодальных систем.

Полученные результаты оформлены в виде цикла научных публикаций, включающего в себя 11 статей: 5 – в трудах международных конференций и 6 – в профильных российских журналах, индексируемых в системах цитирования Scopus, Web of Science и RSCI: «Компьютерная оптика» (Q1-2), «Информатика и автоматизация», «Научная визуализация», «Научно-технический вестник информационных технологий, механики и оптики» и «Известия высших учебных заведений. Приборостроение». Представлены 5 докладов на конференциях международного и российского уровня, включая 2 доклада на топовой международной конференции INTERSPEECH уровня A международного рейтинга CORE.

Созданы и зарегистрированы в Роспатенте три результата интеллектуальной деятельности: 1) программа для ЭВМ «Программное обеспечение для записи аудиовизуальных данных людей в защитных масках»; 2) база данных «Корпус аудиовизуальных русскоязычных данных людей в защитных масках (BRAVE-MASKS – Biometric Russian Audio-Visual Extended MASKS corpus)»; 3) программа для ЭВМ «Программный комплекс аудиовизуального распознавания средств индивидуальной защиты на лице человека (Audio-visual facial masks detection – AVIFAME)». Также поданы две заявки на регистрацию патентов РФ на изобретения «Способ аудиовизуального распознавания средств индивидуальной защиты на лице человека» и «Способ генерации цветных защитных масок на изображениях лиц людей».

Адреса ресурсов в Интернете, подготовленных Проекту:

  1. Интернет-страница корпуса аудиовизуальных русскоязычных данных людей в защитных масках Biometric Russian Audio-Visual Extended MASKS (BRAVE-MASKS)
  2. Интернет-страница базы изображений фронтальных лиц в масках Masked Frontal-Faces Database
  3. Корпус аудиовизуальных русскоязычных данных людей в защитных масках (BRAVE-MASKS - Biometric Russian Audio-Visual Extended MASKS corpus)
  4. Программное обеспечение для записи аудиовизуальных данных людей в защитных масках
  5. Программное обеспечение для аудиовизуального распознавания средств индивидуальной защиты на лице человека (Audio-visual facial masks detection - AVIFAME)
  6. Ryumina E., Ryumin D., Ivanko D., Karpov A. A Novel Method for Protective Face Mask Detection Using Convolutional Neural Networks and Image Histograms // International Archives of the Photogrammetry Remote Sensing and Spatial Information Sciences – 2021. – 2021. – Vol. XLIV-2/W1-2021. – pp. 177–182. DOI: 10.5194/isprs-archives-XLIV-2-W1-2021-177-2021
  7. Markitantov M., Dresvyanskiy D., Mamontov D., Kaya H., Minker W., Karpov A. Ensembling End-to-End Deep Models for Computational Paralinguistics Tasks: ComParE 2020 Mask and Breathing Sub-Challenges // INTERSPEECH 2020. – 2020. – pp. 2072-2076. DOI: 10.21437/Interspeech.2020-2666
  8. Рюмина Е.В., Рюмин Д.А., Маркитантов М.В., Карпов А.А. Метод генерации обучающих данных для компьютерной системы обнаружения защитных масок на лицах людей // Компьютерная оптика. 2022. Т. 46. № 4. С. 603-612. DOI: 10.18287/2412-6179-CO-1039.
  9. Двойникова А.А., Маркитантов М.В., Рюмина Е.В., Рюмин Д.А., Карпов А.А. Аналитический обзор аудиовизуальных систем для определения средств индивидуальной защиты на лице человека // Информатика и автоматизация. – № 20(5). – 2021. – C. 1116-1152. DOI: 10.15622/20.5.5
  10. Ryumina, E., Verkholyak, O., Karpov, A. Annotation Confidence vs. Training Sample Size: Trade-Off Solution for Partially-Continuous Categorical Emotion Recognition // INTERSPEECH 2021. – 2021. – pp. 3690-3694. DOI: 10.21437/Interspeech.2021-1636
  11. Letenkov M.A., Iakovlev R.N., Markitantov M.V., Ryumin D.A., Saveliev A.I., Karpov A.A. Method for Generating Synthetic Images of Masked Human Faces // Научная визуализация (Scientific Visualization). 2022. Т. 14. №. 2. С. 1-17. DOI: 10.26583/sv.14.2.01.
  12. Косулин К.Э., Карпов А.А. Методы аудиовизуального распознавания людей в масках // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22. № 3. С. 415-432. DOI: 10.17586/2226-1494-2022-22-3-415-432.
  13. Кухарев Г.А., Рюмина Е.В., Шульгин Н.А. Метод генерации масок на изображениях лиц и системы их распознавания // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22. № 3. С. 547-558. DOI: 10.17586/2226-1494-2022-22-3-547-558.
  14. Letenkov M., Iakovlev R., Karpov A. Approach to Image-Based Recognition of User Face in Setting of Partial Face Occlusion by Personal Protective Equipment // Electromechanics and Robotics. Smart Innovation, Systems and Technologies. – Vol. 232. – 2021. – pp. 249-258. DOI: 10.1007/978-981-16-2814-6_22
Руководитель проекта
Номер
№ 20-04-60529-вирусы
Сроки
2020-2022
Финансирование
Российский фонд фундаментальных исследований (РФФИ)