Ученые из РФ и Германии разработали ИИ для управления музыкой жестами

Ученые из ФРГ и РФ создали нейросетевую систему,  которая способна «дирижировать» воспроизведением классических музыкальных произведений — менять их звучание при помощи жестов, голоса и мимики. Об этом сообщила пресс-служба Сколтеха.

«Использованная нами модель берет на вход ноты и учится играть по ним, предсказывая характеристики исполнения: локальный темп, позицию, длительность и громкость ноты. На выходе мы получаем исполнение произведения. Нашей же целью было сделать так, чтобы этой моделью можно было управлять, поэтому мы подключили ее к приложению, которое позволяет пользователю общаться с ней», — рассказал научный сотрудник Сколтеха Илья Боровик, слова которого приводит пресс-служба вуза.

Созданный алгоритм позволяет человеку, который не умеет играть на музыкальных инструментах, произвольно влиять на воспроизведение любого произведения классической музыки. Для этого ученые подготовили нейросеть, которая воспроизводит музыку с учетом авторских указаний.

Ранее обозреватель «Коммерсанта» Юрий Литвиненко рассказал о тренировке нейросести, которая основывается на работе человеческого мозга. Подробнее об этом читайте в материале IT INFO MEDIA.