Модель ИИ Riffusion сочиняет музыку на основе визуализаций

Музыка, созданная искусственным интеллектом (ИИ) — это уже достаточно инновационная концепция. Но разработка Riffusion выводит её на новый уровень: создаёт музыку, взяв за пример не звуки, а их изображения.


Diffusion — технология машинного обучения для создания изображений, которая за последний год обогатила мир ИИ. Две самые известные модели — это DALL-E 2 и Stable Diffusion. Метод доказал свою эффективность в разных направлениях и очень удобен для тонкой настройки. То есть обученной модели можно задать вводные, чтобы она создала больше примеров похожего контента.

То, что Сет Форсгрен и Айк Мартирос сделали для своего хобби-проекта Riffusion — это тонкая настройка «Стабильной диффузии» по спектрограммам.


— Сет Форсгрен, разработчик Riffusion.

Спектрограммы — это визуальные отображения звука, которые показывают амплитуду разных частот. Форсгрен и Мартирос приготовили спектрограммы музыки и назвали полученные изображения соответствующе: «блюзовая гитара», «джазовое пианино», «афробит» и тому подобное. После ввода в модель этой коллекции, ИИ «получил представление» о том, как «выглядят» определённые звуки и как их можно воспроизводить или комбинировать.

Модель оказалась способной обрабатывать спектрограммы и выдавать звук, соответствующий подсказкам, таким как «фанковое пианино», «джазовый саксофон» и так далее. В проекте Riffusion обнаружили, что если ИИ задали, например, подсказки «церковные колокола» и «электронные ритмы», программа постепенно и «естественно» переходит от одной к другой, и даже в такт. Получается странный, интересный звук, хотя и не особенно сложный или точный, отметил обозреватель TechCrunch.

Словно оправдываясь, Форсгрен пояснил, что «тренеры» ИИ не пытались создать классическую трёхминутную песню с повторяющимися припевами и куплетами. Для этого, вероятно, нужно построить модель более высокого уровня.

Собственный вывод «Вслух.net» — сайт Riffusion.com получился занятной онлайн-игрушкой для знающих толк в музыке и к тому же интересующихся достижениями ИИ.