Положили смартфон на стол? Поздравляем, он уже шепчет ваши тайны в уши ИИ — и тот их запомнит

• 12 августа в 17:19

Оказывается, телефоны могут выдать речь говорящего микровибрациями корпуса.

Команда информатиков из Пенсильванского университета показала, что разговор по мобильному можно подслушать на расстоянии нескольких метров, считывая едва заметные колебания корпуса от телефонного динамика. Система сочетает радар миллиметрового диапазона и ИИ-распознавание речи и с трёх метров переводит в текст около 60% произнесённых слов. Такой подход высвечивает уязвимые места в привычных устройствах и поднимает серьёзные вопросы приватности .

Работа выросла из эксперимента 2022 года, где удавалось различать десять заранее заданных команд с точностью до 83%. Новая итерация уже пытается тянуть непрерывный поток, а не фиксированный набор, поэтому показатель ниже: помехи в радиоканале и отсутствие чистого звука сильно мешают. Первый автор, аспирант Сурьодай Басак, подчёркивает, что задача — продемонстрировать границы возможного и тем самым предупредить пользователей о скрытых каналах утечки содержания разговоров.

В качестве сенсора использовался модуль мм-диапазона — такие применяются в автомобилях с автопилотом, охранных датчиках движения и сетях 5G. Он фиксировал микроскопические вибрации поверхности, возникающие, когда динамик телефона воспроизводит голос собеседника. Устройство ставили примерно в трёх метрах от аппарата, после чего полученный поток передавали в настроенную под радарный источник систему распознавания. Исследователи взяли открытую нейросеть Whisper и подогнали её под новый тип входа методом low-rank-адаптации (адаптации с пониженным рангом), переобучив около одного процента параметров. Такой трюк позволил обойтись без полной перестройки и заметно улучшил результат на лексиконе до десяти тысяч слов.

Даже при неполном попадании в каждое слово метод несёт угрозу. Соавтор Махант Гоуда сравнивает результат с чтением по губам, где удаётся уловить лишь 30−40% речи, но за счёт ключевых элементов и ситуативных подсказок восстанавливают общий смысл. Аналогично отдельные совпадения по именам либо терминам, дополненные имеющимися сведениями или ручной правкой, способны раскрыть конфиденциальные фрагменты беседы.

Авторы подчёркивают предупреждающий характер проекта. Исследование поддержано Национальным научным фондом США, а эксперименты проведены затем, чтобы опередить возможных злоумышленников. Следующий этап — поиск практических способов защиты личных разговоров от подобных дистанционных наблюдений и повышение осведомлённости пользователей о рисках.