结合机器学习技术,AR虚拟钢琴应用《AR Pianist》

结合机器学习技术,AR虚拟钢琴应用《AR Pianist》


1月28日青亭网报道 , 此前 , 软件开发者和3D艺术创作者Fayez Salka在社交媒体分享了一段AR软件的体验视频获得大量网友关注 。

据了解 , 这是一个基于《AR Pianist》软件的视频 , 该软件是一个基于钢琴的AR软件 , 当你将手机摄像头对准一架钢琴时 , 就会弹奏乐曲 , 并且钢琴按键会对应颜色标识 。

不仅如此 , 软件还会模拟一个AR弹奏着 , 通过虚拟化身的形式进行演奏 。 甚至 , 最终只识别钢琴 , 然后进行整个AR环境的模拟 。

据悉 , 《AR Pianist》结合了机器学习技术 , 其通过Core ML模型 , 重点在于可以在任何光照环境下 , 识别任何品牌的钢琴 , 无需使用特殊带有marker的图像或标记等 , 也无需扫描任何钢琴的3D模型 。

目前 , 该应用仅在iOS端提供 。 Fayez Salka表示:这款AR应用潜力巨大 , 是一个基于手机上体验钢琴演奏的新方式 , 并且是一个有效的音乐教育资源 。 例如 , 你可以将歌曲速度放慢100倍 , 来查看手部动作 , 未来这些体验将无缝迁移到AR头显上 。

推荐阅读