Креативные индустрии и искусственный интеллект: будущее уже рядом
Участникам второго хакатона по искусственному интеллекту, оператором которого выступает президентская платформа «Россия – страна возможностей», предстоит разработать алгоритмы по борьбе с коррупцией. Хакатон пройдет с 6 по 8 августа в Великом Новгороде. А где еще сегодня может пригодиться искусственный интеллект? Рассказываем в этой статье.
Искусственный интеллект сегодня – прогрессивная и активно развивающаяся сфера. Особенность технологий искусственного интеллекта в том, что они обязательно используются в комбинации с чем-либо в качестве инструмента, дополняющего или упрощающего работу основного компонента. Так, например, искусственный интеллект уже успешно проник практически во все сферы жизни человека – от медицины до бизнеса. И если с голосовыми помощниками сегодня так или иначе знаком каждый обладатель смартфона, то об использовании искусственного интеллекта в креативных индустриях, наверняка, размышляло гораздо меньше людей.
Креативные индустрии – понятие широкое, имеющее разные коннотации. Как пишет РБК, тренды в социокультурной сфере креативные индустрии сочетают в себе творческий компонент и новые технологии (например, цифровизация, аддитивные технологии, искусственный интеллект). Стоит отметить, что креативные индустрии, по словам РБК Тренды, развиваются очень быстрыми темпами – быстрее, чем та же традиционная промышленность. Поэтому в комплексе с технологиями искусственного интеллекта они движутся вперед еще динамичнее.
В этой статье мы проследим влияние искусственного интеллекта на музыкальную индустрию.
Преподаватель НИУ ВШЭ Евгения Евпак в своей лекции рассуждает о том, чем будет заниматься композитор в эпоху робомузыки и искусственного интеллекта, и ссылается на ряд кейсов, доказывающих, что искусственный интеллект вполне успешно может создавать музыку. Например, нейронная сеть MuseNet была создана организацией Open AI в 2019 году, а 1 апреля 2021 года она уже была принята в Союз Композиторов России. MuseNet умеет создавать четырехминутные музыкальные композиции, используя 10 инструментов и комбинируя стили классических и современных композиторов. Обучаясь, сеть усваивает закономерности гармонии, ритма и стиля, которые затем использует в создании произведений.
Другой интересный кейс – увертюра, написанная нейросетью в стилистике русского композитора-классика А. Н. Скрябина. Иван Ямщиков, исследователь Яндекса и один из разработчиков нейросети, рассказывает, что отправной точкой для ее создания стала другая нейросеть. Она была создана Иваном и его коллегой Алексеем Тихоновым и умела писать стихи в стилистике того или иного поэта. Разработчикам стало интересно, смогут ли они научить сеть писать музыку, подражая определенным композиторам. И если нейросеть, пишущая стихи, обучалась по модели «language model» (когда нейросеть учится предсказывать следующее слово или следующую ноту во фразе), то новая нейронка-композитор обучалась на архитектуре «autoencoder» (когда весь трек сжимается до вектора более низкой размерности, а потом нейросеть пытается развернуть этот вектор и восстановить трек целиком). Этот способ позволяет передать нейросети большой массив музыкальных треков, на которых она будет обучаться. Для обучения было использовано около 150 тыс. треков. Для создания итоговой композиции из всего, написанного нейросетью, отобрали 4 трека.
Созданием музыки процесс не ограничился. Результаты творчества нейросети вылились в выступление камерного оркестра на конференции YaC в 2017 году. Главная партия терменвокса (это – электромузыкальный инструмент, созданный еще в 1920 году) была расписана по цветовой шкале Скрябина, то есть каждая нота терменвокса во время звучания подсвечивалась определенным цветом, который был закреплен за ней Скрябиным (Скрябин – основоположник светомузыки). Дизайнер Яндекса Кирилл Хачатуров предложил сопровождать звучание музыки генеративной графикой, которая тоже была создана нейросетью. Посмотреть выступление можно здесь.
Робот Шимон, созданный учеными Технологического Института Джорджии, не только пишет музыку, но и исполняет ее при помощи четырех рук. Робот работает на основе 5000 музыкальных композиций и более 2 млн мотивов, загруженных в его память, применяя алгоритмы deep learning. Студент Института Мейсон Бретан помогает Шимону развиваться. Сначала робот «слушал» чужую музыку и импровизировал над заданными последовательностями аккордов. Постепенно машина перешла к самостоятельному генерированию мелодии и гармонических структур. «Мышление» Шимона становится все больше похожим на мышление музыканта: он меньше сосредотачивается на каждой отдельной ноте, смещая фокус на общую структуру композиции, как это делают профессиональные композиторы. Цель создателя робота, профессора Технологического Института Бретана Гила Вайнберга – исследовать, смогут ли роботы писать такую музыку, которую бы люди считали красивой и вдохновляющей. Бретан говорит, что произведения Шимона звучат как микс джаза и классики.
Музыка как инструмент развития рынков
Результатом внедрения искусственного интеллекта в музыкальную индустрию становится не только творчество машин, но и изучение и удовлетворение нужд потребителей музыкального контента, а также исследования рынка, что полезно для людей, занятых в музыкальной индустрии.
Одно из направлений развития – сгенерированная музыка, пишет Forbes. Здесь примером может послужить проект Mubert. Музыканты загружают сэмплы, а алгоритм генерирует в реальном времени непрерывный музыкальный поток из них. При этом пользователи могут редактировать стрим по своему вкусу, меняя темп, жанр, настроение и другие свойства. Таким образом, любой слушатель может попробовать себя в роли музыканта. Такая музыка и называется «сгенерированной». Чаще всего ее включают фоном во время работы, медитаций, фитнеса. Кроме того, технология создания сгенерированной музыки используется, например, приложениями, которые создают музыку для сториз в Instagram, или представителями музыкальной индустрии.
Если говорить о музыке как о компоненте аудиомаркетинга какого-либо бизнеса, то стоит упомянуть проект FONMIX, который подбирает подходящий музыкальный фон для разнообразных пространств (кафе, отелей, парков и т.д.). Подборка может быть составлена с учетом заданных характеристик (например, она может быть тематически подходящей по определенный праздник). Директор по развитию сервиса FONMIX Владимир Заец утверждает: «Правильно подобранный модулированный музыкальный фон – это плюс 15% к сумме выручки».
Технологии искусственного интеллекта делают стриминговые сервисы все более персонализированными. Особенно за персонализированные плейлисты пользователи ценят Spotify. Таковым является, например, плейлист Discover Weekly, который обновляется каждый понедельник. Искусственный интеллект анализирует историю прослушиваний пользователя, фокусируясь на музыке, которую он проигрывал недавно. Затем эти данные сравниваются с данными, полученными от других пользователей. Прогоняя миллионы плейлистов, система находит треки, которые часто попадаются в одних и тех же подборках с уже знакомыми пользователю треками. Затем все эти дорожки группируются в новый плейлист. Таким образом, при создании плейлистов используется логика «людям, которым нравится это, должно понравиться и это тоже». Используя технологии машинного обучения, Spotify добивается такого эффекта, будто бы плейлист для вас составил хороший друг.
Программное обеспечение немецкой компании Stagelink умеет прогнозировать продажи билетов на концерты в разных регионах на основании многоуровневого анализа метрик предпочтения местного населения.
Алгоритм EMUSE – прорывная разработка стартапа «Лаборатория Хаоса». Во время прослушивания музыки мозговые ритмы человека меняются в зависимости от того, что он слушает. Сервис EMUSE исследует динамику волновых ритмов мозга человека, который слушает музыку. При этом и части музыкальной композиции тоже анализируются по ряду параметров (темп, ритмика, динамика, характеристики тембра и другие). Цель применения технологии – возможность делать достоверные прогнозы о воздействии музыки на психоэмоциональный фон, и для бизнеса этот сервис – действительно прорыв. Например, можно будет определить, какая мелодия лучше подойдет для укрепления у потребителя эмоциональной связи с тем или иным брендом.
EMUSE может использоваться не только как средство маркетинга, но и для проведения психоакустических сессий. Сооснователь «Лаборатории Хаоса» Константин Нархов говорит о том, что в настоящий момент ведется разработка 3D-нейроакустического синтезатора и алгоритмического композера нотной партитуры, который будет создавать музыку на основе собранных данных о психоэмоциональном воздействии музыки. Таким образом, при помощи музыки на таких сеансах можно будет с высокой предсказуемостью управлять состоянием человека. Кроме того, EMUSE сможет определить, является ли музыкальная композиция хитом, и это поможет инвесторам и продюсерам принимать правильные решения.
Хакатоны и лекции по искусственному интеллекту – это серия образовательных мероприятий, которые пройдут по всей России. Всего в рамках федерального проекта в период с 2021 по 2024 гг. запланировано 116 хакатонов по искусственному интеллекту: 85 региональных, 24 окружных и 7 международных, а также 85 лекций от ведущих отечественных специалистов по искусственному интеллекту. Победители хакатона разделят между собой призовой фонд в 400 тыс. рублей.
Организатором проекта выступает Министерство экономического развития РФ, а оператором является АНО «Россия – страна возможностей». Организационный партнер проекта – Российская ассоциация электронных коммуникаций, а в качестве технологического партнера выступает Яндекс.Облако.
Регистрация на хакатон открыта до 3 августа. Подробная информация об условиях участия и призах доступна на сайте проекта https://hacks-ai.ru/.
Больше новостей в официальном Telegram-канале платформы: https://t.me/stranavozmojnostey
