Исследование эффективности фазового метода на основе банка фильтров Габора для восстановления аудиосигнала из видеозаписи

Аннотация

В данной работе исследуется задача пассивного восстановления акустических сигналов путем анализа видеопоследовательностей вибрирующих объектов. Звуковые волны, распространяясь в пространстве, оказывают переменное давление на физические объекты, вызывая микроскопические вибрации их поверхности. Амплитуда таких вибраций часто составляет доли пикселя (10⁻³–10⁻² пикселя), что делает затрудненным их обнаружение классическими методами компьютерного зрения, основанными на анализе оптического потока.

Работа развивает подход «визуального микрофона», предложенный в статье Davis et al. (2014). С опорой на принципы компьютерного зрения, изложенные в Torralba et al. (2024), в качестве теоретической основы используется свойство сдвига преобразования Фурье, связывающее пространственное смещение объекта с линейным фазовым сдвигом. Однако, при сохранении общей математической модели, модифицируется этап частотно-пространственной декомпозиции. Исследование посвящено анализу эффективности применения собственной реализации банка комплексных фильтров Габора (в отличие от Steerable Pyramid в оригинальной работе) для решения поставленной задачи.

Проводится сравнительный анализ устойчивости фазового метода к шуму сенсора (Janesick, 2001) и показывается преимущество фазового подхода на полученных экспериментальных данных по сравнению с методами, основанными на интенсивности. Экспериментальные результаты, полученные с использованием высокоскоростной камеры (2200 кадров в секунду), показывают возможность восстановления акустической информации в полосе до частоты Найквиста (Shannon, 1948; Котельников, 1933) и тональных сигналов при съемке легких объектов с расстояния нескольких метров, при этом влияние некогерентного шума матрицы существенно снижается за счёт пространственного взвешивания и фильтрации.