▲独臂音乐侠Jason Barnes
机械手臂的灵感来自于卢克·天行者的仿生手臂, 尽管这只手臂不能挥舞光剑,但它却为爵士乐手Jason Barnes赋予了更大的力量,使得他五年来第一次弹上了钢琴。
Barnes在2012年的一次工伤事故中失去了大部分右臂。乔治亚理工学院研究人员为他打造了一款人工智能机械臂,帮助他实现梦想。与大多数义肢不同的是,这个机械臂可以让这位28岁的鼓手分别控制每一根手指。
使用这个手臂,Barnes可以演奏贝多芬的作品以及《星球大战》的主题曲。
“这太令人激动了”,Barnes说,“如果都能用它弹奏钢琴,那么想必其它任何事情也都不在话下了。”
更加灵活的手指单独控制
由于可以分别控制各个手指,Barnes和其他经历过截肢手术的人们可以使用人工智能义肢来完成日常活动,例如拿叉子、毛巾或梳子。这种灵活性得益于GPU加速的深度学习与超声波机的结合。
与大多数义肢一样,Barnes每天使用的义肢依赖肌动电流图 (EMG) 传感器来检测其肌肉中的电脉冲。尽管这些传感器会识别肌肉运动,但EMG信号的噪音太大,无法确定要移动的手指。
“这就像在音乐厅外边放一个麦克风那样,”负责该项研究的乔治亚理工大学教授Gil Weinberg说,“而我们要做的就是把它放在音乐厅里面。”
超声波奏响共鸣乐章
Weinberg在同事的实验室中尝试改善EMG时,注意到旁边有一台超声波机。之后,他通过医生用于观察子宫中胚胎的超声波机,看到了肌肉收缩以及肌肉运动的速度和方向。他恍然大悟:“通过超声波可以确定手指的移动与设备上显示的内容之间的明显相关性。”
Weinberg在手臂上安装了一个超声波探头,并训练了一个深度学习网络来分析和检测肌肉运动。结合使用NVIDIA GPU与cuDNN加速的TensorFlow深度学习框架,该团队创建了一套算法,用于预测乐手尝试使用的手指。
▲独臂音乐侠Jason Barnes
与众不同的鼓手
这款“星球大战”手臂其实是Barnes的第二个义肢。Barnes原来是一位亚特兰大的音乐教师,他一直渴望成为一名鼓手。事故发生后,他依然决定继续追寻自己的梦想,于是装上了自制义肢。利用义肢,他可以使用鼓槌,但无法控制鼓槌的速度或弹力。
作为乔治亚理工大学音乐技术中心创始董事的Weinberg希望通过创建能够创作和演奏歌曲的人工智能技术来改变人们对音乐的认知,但解决Barnes的问题是一项极大的挑战。
在Barnes找到他时,Weinberg制作的机器人已经可以演奏打击乐器,通过利用深度学习与人类乐手进行即兴表演。与Barnes一样,Weinberg也是一位爵士乐手(钢琴手),使用人工智能帮助Barnes恢复到极佳状态的这个想法令他动力十足。
▲乔治亚理工大学音乐技术中心创始董事Weinberg谈人工智能
人工智能音乐巡回演出
但Weinberg所做的不仅仅是为了让Barnes重新打鼓。他构建的深度学习义肢具有两个鼓槌。Barnes控制一个鼓槌,另一个鼓槌则根据室内音乐进行即兴演奏。Weinberg说,除了作曲之外,机械手臂的演奏速度也比世界上的许多鼓手要快。
“我们的愿望是让人们做回原来的自己或者做更好的自己”,Weinberg说,“借助深度学习,我们可以突破人类的极限。”
尽管第二个鼓槌最初很难操控,但Barnes现在已经能够很好掌控,足以进行巡回演出了。他和Weinberg全球巡演的足迹遍布四个大洲,其中一站还来到了华盛顿肯尼迪中心。
“我已经走出了那场可怕的事故,如今终于可以在世界各地进行演出了,”Barnes 说。