Разработчики из Вашингтонского университета создали концепт инновационных наушников, которые способны переводить речь нескольких спикеров с сохранением их голосовых особенностей. Примечательно, что за обработку всех входящих данных отвечает чип Apple M2.
За основу были взяты беспроводные полноразмерные наушники Sony WH-1000XM4. Инженеры встроили в них чип Apple и бинауральный микрофон Sonic Presence SP15C. Полученные данные обрабатываются специальным ИИ, который позволяет переводить речь с разных языков. Причем при переводе учитывается положение спикера в пространстве и особенности его голоса.
На данный момент устройство способно переводить речь с испанского, немецкого и французского языков. На первичную обработку звука уходит от 2 до 4 секунд. Все работает локально, без подключения к интернету.
Разработчики понимают, что небольшие задержки при переводе могут затруднить диалог. Однако они отмечают, что с развитием технологий задержка может значительно сократиться.
Авторы проекта не уточняют, когда наушники с подобным функционалом могут поступить в продажу. Тем не менее, они опубликовали подробную статью о своей работе и механизме перевода. Кроме того, все желающие могут ознакомиться с кодом проекта — он находится в открытом доступе.
