Как превратить изображения в звуки

В этом видео я расскажу, как преобразовать изображения в звук с помощью спектрограмм и кривых заполнения пространства. Мы начнём с интерактивного задания: прослушайте аудио, полученное с помощью изображений, и определите закономерности. Затем я объясню, как двумерные данные изображений можно преобразовать в одномерный звук, используя различные методы сонификации. Вы узнаете о визуализации звука на основе спектрограмм, о роли кривых Гильберта в сохранении пространственных отношений в звуке и о том, как модели ИИ создают изображения, которые не только выглядят, но и звучат как нечто подобное.

0:00 Вступление
1:24 Представление данных
2:44 Спектрограммы
4:32 Модели диффузии
6:40 Преобразование 2D в 1D
9:30 Кривые заполнения пространства
12:34 Время прослушивания!
13:46 Заключение

---------

РЕСУРСЫ:
Мой Github:
Удачи в расшифровке кода - https://github.com/Waz-ly/sonifying

Модели диффузии:
Изображения, которые звучат - https://ificl.github.io/images-that-s...
Изображения, которые музыка. Этот ресурс мне посоветовал Цзыян Чен (автор книги «Изображения, которые звучат», огромное ему спасибо, кстати). Я не включил его в видео, но он есть здесь, так что загляните! - https://griffonagedotcom.wordpress.co...

Спектрограммы:
NASA - https://science.nasa.gov/mission/hubb...

Кривые заполнения пространства:
3b1b. В его видео упоминаются кривые, заполняющие пространство, для преобразования изображений в звуки. Я нашёл это только после съёмок видео, поэтому мы оба пришли к одной и той же идее по отдельности! -    • Hilbert's Curve: Is infinite math useful?  
Ещё одна реализация кривых, заполняющих пространство - https://github.com/minerscale/sight-a...

Другие ресурсы:
Музификация листа -    • The Irrepressible Loopiness of Leaf Music  
Несколько действительно интересных музыкальных теорий о том, как звучат вещи -    • Why Does Snow Level Music Sound COLD?  
Музыка осциллографа -    • Oscilloscope Music - Attractor  

---------

МУЗЫКА:
Rock Rock Mountain (Mario Kart 7)
Stranded -    • Stranded  
Cloudtop Cruise (Mario Kart 8)
Rescue -    • Rescue