Виртуальная платформа позволяет в режиме реального времени осуществлять музыкальное сотрудничество с аватарами

Исследователи стремятся перенести магию исполнения музыки лично в виртуальный мир. Платформа Joint Active Music Sessions (JAMS), созданная в Университете Бирмингема, использует аватары, созданные отдельными музыкантами и предоставленные другим музыкантам для создания виртуальных концертов, репетиций или улучшения обучения музыке.

Доктор Массимилиано (Макс) Ди Лука из Бирмингемского университета объясняет: «Музыкант записывает себя и отправляет видео другому музыканту. Программное обеспечение создает адаптивный аватар , который играет в идеальной синхронности с музыкальным партнёром. Все, что вам нужно, — это iPhone и гарнитура виртуальной реальности, чтобы объединить музыкантов для выступления, репетиции или обучения».

Платформа JAMS имеет потенциал для развития социальной сети, подобной Spotify или Myspace, где музыканты могут взаимодействовать, чтобы учиться, общаться, выступать, создавать новую музыку и создавать виртуальные концерты, охватывающие более широкую аудиторию.

JAMS имеет отличительную особенность платформы, разработанной совместно с музыкантами и для музыкантов, как успешных, так и находящихся на ранней стадии обучения.

Аватары фиксируют невысказанные моменты, которые являются ключевыми в музыкальном исполнении, позволяя партнёрам по практике или исполнителям следить за кончиком смычка скрипача или устанавливать зрительный контакт в критические моменты произведения. Они также обладают адаптивностью в реальном времени и динамически реагируют на музыканта на гарнитуре VR, тем самым обеспечивая уникальный, персонализированный опыт.

Доставка с помощью гарнитуры VR воссоздает мир музыканта и обеспечивает иммерсивный фон с реалистичным отображением других музыкантов и реплик, используемых в реальной обстановке. Она также удерживает лица на уровне глаз, что усиливает ощущение связанности.

Что особенно важно, в пользовательском опыте JAMS нет «задержки». Доктор Ди Лука объясняет: «Задержка — это задержка между созданием звука и его достижением слушателя, и исполнители могут начать ощущать эффект задержки всего лишь в 10 миллисекунд, которая сбивает их с ритма, нарушает концентрацию или отвлекает от технических аспектов игры».

JAMS подкреплен алгоритмом, созданным в ходе проекта Augmented Reality Music Ensemble (ARME), который фиксирует динамические корректировки времени между исполнителями. Проект объединил исследователей из шести дисциплин (психология, информатика, инженерия, музыка, спортивная наука и математика), чей вклад воплотил в жизнь видение построения вычислительной модели , которая с точностью воспроизводит движения тела музыканта и предоставляет аватар, отвечающий потребностям соисполнителей.

«Мы стремимся перенести магию исполнения музыки в виртуальный мир . Вы можете адаптировать аватар, с которым играют другие люди, или научиться играть лучше, практикуясь с маэстро».

JAMS позволяет музыкантам выступать в интерактивной виртуальной группе и может быть адаптирован для синхронизации губ или дубляжа в медиа. Он также может собирать уникальные пользовательские данные для создания цифровых двойников музыкантов, предлагая возможности лицензирования для различных приложений и дальнейшего использования каталогов и прав на публикацию.

Её конек схемы в бизнесе, банковской и финансовой сфере.