Собрать плейлист, найти застрявший в голове трек, написать пьесу: что искусственный интеллект умеет делать с музыкой

Узнавать композиции

Классный трек можно услышать где угодно: в торговом центре, в кафе и даже из окна соседней машины, стоя в пробке. Чтобы не упустить понравившуюся незнакомую песню, достаточно включить приложение для распознавания. Название композиции и имя исполнителя в них за секунды выдаёт искусственный интеллект. Правда, за столь стремительным результатом стоит основательная подготовка: чтобы быстро узнать мелодию, программе сначала нужно её запомнить. Для этого нейросети знакомят с огромной библиотекой треков, а затем алгоритмы преобразуют звук в спектрограмму и раскладывают его на время, частоту и интенсивность.

Анатолий Старостин

Руководитель службы развития технологий в медиасервисах «Яндекса».

Спектрограмма — это график. По оси горизонтали расположено время, по вертикали — частота звука, а цветом выражена его интенсивность в фиксированный момент. Низкий сигнал представляется красной полоской снизу, а высокий — сверху. В итоге получается картинка, состоящая из цветных горизонтальных полос. Анализ таких схем помогает распознавать музыку. При работе со спектрограммами используются те же нейросетевые подходы, что и при анализе изображений.

Допустим, человек слышит по радио песню и хочет узнать название и исполнителя. Программа распознавания строит спектрограмму звучащего отрывка и отправляет её в свою библиотеку треков. Затем сравнивает «картинку» искомой мелодии со спектрограммами других композиций и выбирает наиболее точное совпадение. При этом искусственный интеллект распознаёт мелодию даже сквозь серьёзные помехи вроде дорожного шума или ремонта в соседней квартире.

Кстати, нейросеть способна не только идентифицировать исполнителя и название застрявшего в голове трека, но и примерно определить его жанр. Для этого искусственный интеллект учат находить закономерности разных музыкальных стилей. Такие специфические характеристики, как правило, недоступны человеческому зрению и слуху. Но благодаря машинному обучению вычислять музыкальные жанры по изображениям спектрограмм становится возможно.

Рекомендовать песни

Кажется, что самостоятельно найти «тот самый» трек под настроение в миллиардах композиций почти так же маловероятно, как взаимно влюбиться с первого взгляда. Но благодаря алгоритмам рекомендаций идеальные мэтчи случаются не так уж редко. Сначала искусственный интеллект ищет людей с похожими вкусами, а дальше подключаются статистические формулы: количество лайков, дизлайков, прослушиваний и пропусков конкретной композиции.

Анатолий Старостин

Рекомендация песен работает по простой схеме: если Васе понравился трек X, а потом Петя тоже его оценил, то, когда Васе понравится Y, порекомендовать трек Y стоит и Пете. Когда алгоритму нужно найти следующую песню, готовая формула применяется к набору потенциальных композиций. Самая подходящая всплывает наверх.

«Холодный» контент, не замеченный в плейлистах массового слушателя, распространяется медленнее. Но благодаря нейросетям у неизвестных исполнителей и нишевой музыки всё же есть небольшой шанс мелькнуть в потоке рекомендаций. Если упростить все технические нюансы, то можно сказать, что в подобных случаях искусственный интеллект выясняет, как часто конкретный пользователь слушает песни с похожими спектрограммами, и периодически предлагает ему познакомиться с новыми треками.

Mary Gu

Певица.

Иногда я ищу вдохновение в рекомендациях. Доверяю выбор композиции музыкальному сервису, вслушиваюсь в мелодии, нахожу интересные звучания или тексты. Так действительно можно спонтанно влюбиться в трек неизвестного исполнителя. А ещё случайно услышанная строчка способна натолкнуть меня на создание собственных стихов.

Нейросети также помогают генерировать подборки музыки для фитнеса, прогулок или сна. Контент‑редакторы отбирают для алгоритмов треки‑ориентиры, и на основе их спектрограмм искусственный интеллект расширяет тематические рекомендации.

Генерировать музыку

Раньше создавать мелодии могли лишь композиторы. Сейчас это возможно и без участия музыкантов. В 2020 году в Нидерландах впервые провели «Евровидение» для нейросетей — AI Song Contest. Победила в нём австралийская коллаборация искусственного интеллекта с коалами, зимородками и тасманскими дьяволами. Песня посвящалась бушевавшим на континенте лесным пожарам. Звуки животных записали в короткие семплы — отрывки длиной в 1–2 секунды. Алгоритм соединил их с хитами всех предыдущих победителей реального «Евровидения», после чего собрал семплы в собственную мелодию.

Это не единственный пример удачного творческого союза программистов и нейросетей. В 2019‑м на закрытии Зимнего международного фестиваля искусств в Сочи государственный оркестр исполнил 8‑минутную пьесу. Написал её композитор Кузьма Бодров из отдельных фрагментов мелодий, сгенерированных нейросетями. Сегодня создание музыки — самая перспективная сфера для развития искусственного интеллекта.

Анатолий Старостин

Создавать музыку искусственный интеллект может тремя путями. Первый связан с конструированием из готовых «кирпичиков» звука — семплов. В таком случае алгоритм просто расставляет их в нужном порядке по нескольким звуковым дорожкам, а электронный аранжировщик сводит готовый трек. Второй способ — генерировать нотные записи. Это как писать инструкцию, для того чтобы музыкант сыграл по ней готовое произведение. И третий путь — записывать «сырой» аудиосигнал. В этом случае нейросеть сама создаёт звуковые волны, которые похожи, например, на Моцарта или Beatles.

Кстати, писать стихи для песен нейросети тоже могут. Пока такие треки звучат довольно странно, поэтому сонграйтерам не стоит переживать о безработице. К тому же «компьютерный разум» лишён чувств. Он не может вникнуть в эмоциональный контекст и передать те переживания, которые заставляли авторов произведений творить.

Mary Gu

Поэзия и музыка — это в первую очередь про душу, внутренний мир, переживания, чувства и эмоции людей. Например, новый трек «Не перегори» — это моя личная история, но она также и про каждого, кто идёт к мечте и пытается разобраться в себе. Я не думаю, что искусственный интеллект когда‑то заменит живого человека в музыкальной индустрии. Но здесь может получится интересный тандем «человек — нейросеть». Мы уже знаем десятки примеров, когда искусственный интеллект помогал композиторам создавать уникальные мелодии. По сути, это новое направление в музыкальном мире, которое, я уверена, в будущем будет иметь своего слушателя и свою аудиторию.