Новый эксперимент Google с искусственным интеллектом создает абстрактные музыкальные клипы, вдохновленные живым инструменталом

Новый экспериментальный продукт Google на основе искусственного интеллекта позволяет создавать абстрактные музыкальные клипы, вдохновленные живыми инструменталами. На что способен новый инструмент и как он работает?


Экспериментальный инструмент называется Instrument Playground (Песочница для инструментов) и был разработан Симоном Дури, художником-резидентом в лаборатории Google Arts & Culture. Он основан на технологии Google MusicLM, текстовом инструменте для генерации музыки с помощью искусственного интеллекта, который Google сделал доступным для публики в мае 2023 года.


— Instrument Playground.

Инструментальная площадка встречает пользователей тем, что просит вас ввести простой запрос, содержащий название музыкального инструмента, который может быть предварен прилагательным, таким как «оживленный», «странный» или «мрачный». Затем она выдаст 20-секундный аудиоклип в качестве отправной точки для сочинения (часто очень необычной или абстрактной) музыки, использующей звук инструмента, который вы ввели.

Инструмент разработал Саймон Дури, художник-резидент в лаборатории Google Arts & Culture. Он использовал инструмент MusicLM от Google, который компания сделала доступным для публики в мае.

Инструментальная площадка предлагает некоторые экзотические инструменты, наподобие дизи из Китая или мбрии из Зимбабве. Тем временем, добавление прилагательного к вашему запросу позволяет вам дополнить исполнение стилем, таким как «унылый», «счастливый» или «романтичный».

Эксперимент работает менее буквально, чем вы могли бы ожидать. Например, «злая туба» не генерирует агрессивного соло на духовом инструменте, которого вы ожидаете. Вместо этого она звучит больше как синтез трубного органа с тубой и аспирацией. Аналогично, «странный диджериду» выдает нечто похожее на зловещий отрывок из саундтрека Ханса Циммера. Результаты похожи на абстрактные композиции с наслоением звука, которые (в какой-то мере) передают чувство запроса.

Инструмент также отклоняет некоторые прилагательные по непонятным причинам. Например, когда пользователь вводит «причудливый» или «психоделический», всплывающее окно с ошибкой утверждает, что не разрешает запросы, ссылающиеся на конкретных исполнителей.

Как только инструмент генерирует клип, который вам нравится в качестве отправной точки, вы можете выбрать из подпунктов «Амбиент», «Бит» и «Питч» для контроля различных аспектов композиции, превращая ее во что-то более подходящее для вас. Если вы хотите добавить больше инструментов (или любые звуки), расширенный режим открывает секвенсор для наложения и циклического воспроизведения до четырех дорожек для вашей композиции. Наконец, вы можете скачать файл .wav вашего трека, когда вы будете довольны им.

Если вам интересно опробовать новый инструмент, вы можете посетить Инструментальную песочницу и войти в свой аккаунт Google, чтобы начать сочинять.