Brain2Music использует мысли для воспроизведения музыки
Исследователи из Google и Университета Осаки в Японии изучающие активность мозга сообщили об успехах в воссоздании музыки по волнам человеческого мозга, наблюдаемым в лаборатории. Статья команды «Brain2Music: реконструкция музыки по деятельности человеческого мозга» была опубликована на сервере препринтов arXiv 20 июля.
Музыкальные образцы, охватывающие 10 жанров, включая рок, классику, металл, хип-хоп, поп и джаз, воспроизводились для пяти испытуемых, в то время как исследователи наблюдали за их мозговой активностью. Во время прослушивания записывались показания функциональной МРТ (fMRI). (Показания фМРТ, в отличие от показаний МРТ, регистрируют метаболическую активность с течением времени.)
Затем показания использовались для обучения глубокой нейронной сети, которая выявляла алгоритм, связанный с различными характеристиками музыки, такими как жанр, настроение и инструменты.

Спектрограммы различных музыкальных клипов: Крайний левый столбец содержит стимулы, которым подвергались испытуемые. Справа музыка, полученная из FMA, и три клипа, взятые из MusicLM. Как генерация, так и поиск выполняются с помощью вложений MuLan. Визуально заметно сходство спектрограмм в одном ряду.
На промежуточном этапе к исследованию присоединился MusicLM. Эта модель, разработанная Google, генерирует музыку на основе текстовых описаний. Он, как и фМРТ, измеряет такие факторы, как инструментарий, ритм и эмоции.
Исследователи связали базу данных MusicLM с показаниями фМРТ, что позволило их модели ИИ реконструировать музыку, которую слышали испытуемые. Вместо текстовых инструкций активность мозга обеспечивала контекст для музыкального вывода.
— Тимо Денк, исследователь из Google, один из нескольких авторов статьи.
Авторы назвали созданную модель ИИ Brain2Music.
Созданная музыка напоминает музыкальные стимулы, которые испытали люди, в отношении семантических свойств, таких как жанр, инструменты и настроение. Кроме того, ученые определили области мозга, отражающие информацию, поступающую из текстовых описаний музыки.
Примеры, предоставленные командой, демонстрируют удивительно похожее звучание музыкальных отрывков, интерпретируемых Brain2Music на основе мозговых волн испытуемых.
Одна из семплированных песен присутствовала среди первых 10 лучших хитов 2000 года «Oops!.. I Did It Again» Бритни Спирс. Ряд музыкальных элементов песни, таких как звучание инструментов и ритм, точно соответствовали друг другу, хотя тексты были неразборчивы. Исследователи объяснили, что Brain2Go фокусируется на инструментовке и стиле, а не на текстах.
— Тимо Денк.
ИИ еще не готов проникнуть в наш мозг и записать идеально оркестрованные мелодии, но этот день может быть не за горами.
По словам Денка, будущая работа над моделями генерации музыки улучшит временное согласование между реконструкцией и стимулом. Он также предположил, что в будущем появятся еще более точные методы воспроизведения музыкальных композиций, основанные на чистом воображении.
Возможно, будущим авторам песен нужно будет только представить припев песни, пока принтер, подключенный по беспроводной связи к слуховой коре, распечатывает партитуру.
Так Пол Маккартни, автор песни «Yesterday», признанной в опросе BBC в 1999 году лучшей песней 20-го века, рассказывал, что идея этой песни пришла к нему во сне, однако ему потребовалось полтора года, чтобы заполнить все недостающие части. Если будущий Маккартни придумает потенциальный глобальный хит в полуночном сне, вполне возможно, что модель типа Brain2Go обеспечит полный, быстрый и точный рендеринг композиции уже утром.
Музыкальные образцы, охватывающие 10 жанров, включая рок, классику, металл, хип-хоп, поп и джаз, воспроизводились для пяти испытуемых, в то время как исследователи наблюдали за их мозговой активностью. Во время прослушивания записывались показания функциональной МРТ (fMRI). (Показания фМРТ, в отличие от показаний МРТ, регистрируют метаболическую активность с течением времени.)
Затем показания использовались для обучения глубокой нейронной сети, которая выявляла алгоритм, связанный с различными характеристиками музыки, такими как жанр, настроение и инструменты.

Спектрограммы различных музыкальных клипов: Крайний левый столбец содержит стимулы, которым подвергались испытуемые. Справа музыка, полученная из FMA, и три клипа, взятые из MusicLM. Как генерация, так и поиск выполняются с помощью вложений MuLan. Визуально заметно сходство спектрограмм в одном ряду.
На промежуточном этапе к исследованию присоединился MusicLM. Эта модель, разработанная Google, генерирует музыку на основе текстовых описаний. Он, как и фМРТ, измеряет такие факторы, как инструментарий, ритм и эмоции.
Исследователи связали базу данных MusicLM с показаниями фМРТ, что позволило их модели ИИ реконструировать музыку, которую слышали испытуемые. Вместо текстовых инструкций активность мозга обеспечивала контекст для музыкального вывода.
По нашим оценкам реконструированная музыка семантически напоминает оригинальный музыкальный источник.
Созданная музыка напоминает музыкальные стимулы, которые испытали люди, в отношении семантических свойств, таких как жанр, инструменты и настроение. Кроме того, они определили области мозга, отражающие информацию, поступающую из текстовых описаний музыки
Созданная музыка напоминает музыкальные стимулы, которые испытали люди, в отношении семантических свойств, таких как жанр, инструменты и настроение. Кроме того, они определили области мозга, отражающие информацию, поступающую из текстовых описаний музыки
— Тимо Денк, исследователь из Google, один из нескольких авторов статьи.
Авторы назвали созданную модель ИИ Brain2Music.
Созданная музыка напоминает музыкальные стимулы, которые испытали люди, в отношении семантических свойств, таких как жанр, инструменты и настроение. Кроме того, ученые определили области мозга, отражающие информацию, поступающую из текстовых описаний музыки.
Примеры, предоставленные командой, демонстрируют удивительно похожее звучание музыкальных отрывков, интерпретируемых Brain2Music на основе мозговых волн испытуемых.
Одна из семплированных песен присутствовала среди первых 10 лучших хитов 2000 года «Oops!.. I Did It Again» Бритни Спирс. Ряд музыкальных элементов песни, таких как звучание инструментов и ритм, точно соответствовали друг другу, хотя тексты были неразборчивы. Исследователи объяснили, что Brain2Go фокусируется на инструментовке и стиле, а не на текстах.
Это исследование впервые дает количественную интерпретацию с биологической точки зрения. Однако, несмотря на успехи в моделях преобразования текста в музыку, внутренние процессы, отвечающие за это все еще плохо изучены
— Тимо Денк.
ИИ еще не готов проникнуть в наш мозг и записать идеально оркестрованные мелодии, но этот день может быть не за горами.
По словам Денка, будущая работа над моделями генерации музыки улучшит временное согласование между реконструкцией и стимулом. Он также предположил, что в будущем появятся еще более точные методы воспроизведения музыкальных композиций, основанные на чистом воображении.
Возможно, будущим авторам песен нужно будет только представить припев песни, пока принтер, подключенный по беспроводной связи к слуховой коре, распечатывает партитуру.
Так Пол Маккартни, автор песни «Yesterday», признанной в опросе BBC в 1999 году лучшей песней 20-го века, рассказывал, что идея этой песни пришла к нему во сне, однако ему потребовалось полтора года, чтобы заполнить все недостающие части. Если будущий Маккартни придумает потенциальный глобальный хит в полуночном сне, вполне возможно, что модель типа Brain2Go обеспечит полный, быстрый и точный рендеринг композиции уже утром.
Наши новостные каналы
Подписывайтесь и будьте в курсе свежих новостей и важнейших событиях дня.
Рекомендуем для вас
Возможно, целлофановые пчелы — спасение человечества: они миллионы лет делают то, что нужно нам как воздух
Поразительно, но удивительный продукт ученые нашли почти полвека назад, но почему-то до последнего времени не обращали на него внимания...
Тайна скифской ДНК: что поразило российских ученых, когда они заглянули в геном легендарных кочевников древности
Оказалось, что 2500 лет подряд историки ошибались в происхождении этого народа. Теории и учебники придется серьезно переписать...
Новый рецепт апокалипсиса: даже небольшая ядерная боеголовка на орбите гарантировано выведет из игры 99% аппаратов за считаные дни
Однако самое опасное, по словам ученых, начнется позже. Почему космос будет фактически закрыт?...
Ненужный рай: 1500-километровое путешествие показало, почему древние люди обходили стороной Зеленую Аравию
Выяснилось, что питьевая вода еще не делает местность пригодной для жилья. Племенам из древности требовалось еще кое-что необходимое...
Назад в будущее: в России вернут проводное радио. Зачем? Почему спорят эксперты?
В технологию уже вложено более миллиарда рублей, а МЧС называет проводное радио лучшим способом оповещения на сегодня...
Древние майя настолько любили красный цвет, что в итоге эта страсть, возможно, стала одной из причин гибели цивилизации
Ученые нашли доказательства, как яркая краска способствовала краху великой империи...
Авиация в США наконец-то уходит… с дискет: почему так поздно и как с этим обстоят дела в России?
Американцы потратили на выход из 90-х чудовищные суммы, но далеко не факт, что все заработает в срок и как надо...
Настоящий Ковчег Завета, возможно, спрятан в Эфиопии: почему его может видеть только один человек?
Этой истории 3000 лет, но она до сих пор далека от своего завершения...
Загадочный астероид неожиданно ускорился: у астрофизиков заканчиваются объяснения и гипотезы
Пожалуй, это самый интересный космический детектив за последнее время, и пока он далек до финала...
Наша Вселенная скреплена невидимым галактическим клеем: и без него нас бы не было
По словам ученых, «склеивание» произошло уже в первые секунды существования мироздания...
Парадокс Древнего Перу: жили мирно, но при этом приносили массовые и жестокие человеческие жертвы. Почему?
Ученый рассказал, какую роль в истории сыграл Эль-Ниньо и почему ритуальные убийства совершали «без гнева и конфликта»...
Усиленно боролись за чистоту, но просчитались: как роковая ошибка властей поставила под угрозу целый средневековый город
Норвежский Тронхейм был самым чистым в Европе, однако руководству города этого показалось мало. Хотели как лучше, а получилось как всегда...
В России создана революционная упаковка: молоко будет свежим целый месяц
Разбираемся: не испортился ли вкус продукта и когда ожидать чудо-пачки в продаже...
Выход на новый уровень: почему Россия возрождает проводное радио, а Китай давно прокачал этот вид связи
У старой технологии обнаружился огромный потенциал, который поможет миллионам людей...