
Модель ИИ Riffusion сочиняет музыку на основе визуализаций
Музыка, созданная искусственным интеллектом (ИИ) — это уже достаточно инновационная концепция. Но разработка Riffusion выводит её на новый уровень: создаёт музыку, взяв за пример не звуки, а их изображения.
Diffusion — технология машинного обучения для создания изображений, которая за последний год обогатила мир ИИ. Две самые известные модели — это DALL-E 2 и Stable Diffusion. Метод доказал свою эффективность в разных направлениях и очень удобен для тонкой настройки. То есть обученной модели можно задать вводные, чтобы она создала больше примеров похожего контента.
То, что Сет Форсгрен и Айк Мартирос сделали для своего хобби-проекта Riffusion — это тонкая настройка «Стабильной диффузии» по спектрограммам.
— Сет Форсгрен, разработчик Riffusion.
Спектрограммы — это визуальные отображения звука, которые показывают амплитуду разных частот. Форсгрен и Мартирос приготовили спектрограммы музыки и назвали полученные изображения соответствующе: «блюзовая гитара», «джазовое пианино», «афробит» и тому подобное. После ввода в модель этой коллекции, ИИ «получил представление» о том, как «выглядят» определённые звуки и как их можно воспроизводить или комбинировать.
Модель оказалась способной обрабатывать спектрограммы и выдавать звук, соответствующий подсказкам, таким как «фанковое пианино», «джазовый саксофон» и так далее. В проекте Riffusion обнаружили, что если ИИ задали, например, подсказки «церковные колокола» и «электронные ритмы», программа постепенно и «естественно» переходит от одной к другой, и даже в такт. Получается странный, интересный звук, хотя и не особенно сложный или точный, отметил обозреватель TechCrunch.
Словно оправдываясь, Форсгрен пояснил, что «тренеры» ИИ не пытались создать классическую трёхминутную песню с повторяющимися припевами и куплетами. Для этого, вероятно, нужно построить модель более высокого уровня.
Собственный вывод «Вслух.net» — сайт Riffusion.com получился занятной онлайн-игрушкой для знающих толк в музыке и к тому же интересующихся достижениями ИИ.
Diffusion — технология машинного обучения для создания изображений, которая за последний год обогатила мир ИИ. Две самые известные модели — это DALL-E 2 и Stable Diffusion. Метод доказал свою эффективность в разных направлениях и очень удобен для тонкой настройки. То есть обученной модели можно задать вводные, чтобы она создала больше примеров похожего контента.
То, что Сет Форсгрен и Айк Мартирос сделали для своего хобби-проекта Riffusion — это тонкая настройка «Стабильной диффузии» по спектрограммам.
Мы с Айком играем в небольшой группе. И проект начали просто потому, что любим музыку и не знали, возможно ли вообще в Stable Diffusion использовать спектрограмму для преобразования в звук
— Сет Форсгрен, разработчик Riffusion.
Спектрограммы — это визуальные отображения звука, которые показывают амплитуду разных частот. Форсгрен и Мартирос приготовили спектрограммы музыки и назвали полученные изображения соответствующе: «блюзовая гитара», «джазовое пианино», «афробит» и тому подобное. После ввода в модель этой коллекции, ИИ «получил представление» о том, как «выглядят» определённые звуки и как их можно воспроизводить или комбинировать.
Модель оказалась способной обрабатывать спектрограммы и выдавать звук, соответствующий подсказкам, таким как «фанковое пианино», «джазовый саксофон» и так далее. В проекте Riffusion обнаружили, что если ИИ задали, например, подсказки «церковные колокола» и «электронные ритмы», программа постепенно и «естественно» переходит от одной к другой, и даже в такт. Получается странный, интересный звук, хотя и не особенно сложный или точный, отметил обозреватель TechCrunch.
Словно оправдываясь, Форсгрен пояснил, что «тренеры» ИИ не пытались создать классическую трёхминутную песню с повторяющимися припевами и куплетами. Для этого, вероятно, нужно построить модель более высокого уровня.
Собственный вывод «Вслух.net» — сайт Riffusion.com получился занятной онлайн-игрушкой для знающих толк в музыке и к тому же интересующихся достижениями ИИ.
- Дмитрий Ладыгин
- riffusion.com
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас

Ученые поражены: у растений есть секретный второй набор корней глубоко под землей
Это не только сенсация в ботанике, это вообще переворот в науке....

Найдено идеальное место для жизни на Марсе
По словам ученых, оно похоже… на нашу Сибирь....

Уникальная находка в Нидерландах: археологи обнаружили римский лагерь далеко за пределами Империи
Как лидар и искусственный интеллект нашли объект-«невидимку» II века....

Тайна разгадана: стало известно, почему большинство кошек предпочитают спать строго на одном боку
Оказалось, что это древний защитный механизм, которому миллионы лет....

Эксперты обнаружили существ, переживших прямой удар астероида, который уничтожил динозавров
Почему конец света — это вовсе не повод, чтобы вымирать?...

32 удивительных подарка за последние 20 лет: ученые пытаются понять, за что косатки «балуют» людей
Природная доброта? Любопытство? Желание выйти на контакт?...

Ученые хотят создать хранилище микробов, чтобы те… не вымерли
Звучит кошмарно, но на самом деле от этого зависит судьба всего человечества....