将动作转化为音乐
研究员:Balandino Di Donato
背景
音乐学院的学生巴兰蒂诺·迪·多纳托博士与开发人员合作，以臂章的形式创造了一个互动小工具Myo．臂章，用音乐学院的Integra实验室，将手和手臂的动作转化为音乐和视觉表演。巴兰蒂诺创造了这项技术，作为他博士研究现场声音以及空间和运动的影响的一部分。
HCI(人机交互)、手势识别、机器学习、混合现实和交互设计的结合使这个项目成为现实。
目标
本项目旨在:
- 把搏击手的手势转换成声音
- 追踪“Myo”袖标上的实时数据
- 简单地使用动作控制声音
- 将实验结果汇集在一起，以微调Myo原型
- 让表演者能够在舞台上操纵声音和视觉效果
结果
通过发展Myo Balandino建立了两个手姿势，抓(一个拳头)和扔(一个伸出的手)，这将触发声音。巴兰蒂诺的理由是，这项技术对用户来说很容易学习，而且可以提高跟踪运动的能力。
5月29日，在柏林mtf柏林音乐科技节上，拳王格蕾丝·萨维奇将这个小玩意投入使用。这场开创性的表演让格蕾丝能够在舞台上现场采样、循环和处理她的声音，控制视觉效果和灯光，让表演者和观众沉浸其中。
了解更多巴兰蒂诺的研究网站．