Умные кривлянья: ученые создали наушники, которые различают эмоции человека

Думаете, для создания разных цифровых аватаров в играх и не только до сих пор нужны горы техники и проводов? Мы так тоже думали, а ученые все это время занимались интересными исследованиями. И придумали наушники, которые распознают мимику человека.

Как описывается в журнале The Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, визуализировать лицо технология способна благодаря эху. Изначально, еще в 2020-м, ученые сделали прототип наушников-затычек, по краям у которых были камеры. Они видели боковую часть лица и по движениям могли определить эмоцию с помощью машинного обучения. Все бы хорошо, но разряжалось это чудо быстро, да и для камер всегда нужна нормальная освещенность.

Поэтому умники из Корнеллского университета под руководством Чэня Чжана сделали аудиорешение этой идеи. Из наушников-вкладышей теперь торчат микроскопические динамики, которые подают сигнал на боковую часть лица. Этот диапазон человек не слышит, зато его прекрасно воспринимают специальные микрофоны. Они собирают этот отраженный звук и составляют профиль эха, то есть всю последовательность изменений сигнала. Через время составляется 3D-модель лица со всеми изменениями. Придумку назвали EarIO.

Так технология может спокойно различать любые кривлянья человека, а энергии на это тратится меньше. Чтобы понимать, что все работает правильно, ученые дополнительно используют камеру iPhone 12 с технологией TrueDepth для сопоставления. Она снимает лицо спереди и синхронизирует мимику с тем, что создали наушники. Пока устройство может работать в таком режиме около трех часов, но головастые инженеры уже знают, как увеличить время работы в разы. И уменьшить его же во время первоначальной настройки программы под нового пользователя: пока на это требуется несколько десятков минут.