新算法可在VR中实现更逼真的声音效果

当我们观看电影或玩视频游戏时，正确的声音效果可以帮助使场景变得更加逼真：当一个头发花白的赌徒在一个银色屏幕的纸牌桌上滚动一个银元时，声音似乎从一个耳朵到另一个耳朵，一招电影制作者可以通过拼接预先录制的从扬声器到扬声器的声音来完成。

但到目前为止，在虚拟现实中创造这样的感觉实际上是不可能的，因为VR是没有脚本的。很难预测一个物体可能产生什么噪音，或者它们可能被听到的地方。为了使VR听起来更逼真，工程师必须创建大量的“声音模型” - 计算机化的预录制等效物。每个声音模型都可以使VR系统在需要的精确时刻合成特定的声音。到目前为止，一组计算机需要花费数小时来创建一个单独的声音模型，并且由于需要许多不同的模型来合成许多不同的潜在声音，因此在交互式环境中创建逼真的声音一直是难以实现的目标。

现在斯坦福大学的计算机科学家已经发明了一种能够在几秒钟内创建声音模型的算法，这使得在虚拟环境中模拟许多不同对象的声音具有成本效益。当需要声音的动作发生时，这个新模型可以将每个声音合成的声音与过去慢得多且仍然是实验性算法产生的声音一样逼真。“让创建模型变得更容易使得构建具有逼真音效的交互式环境变得切实可行，”计算机科学教授道格·詹姆斯(Doug James)说道。

用于创建声音模型的现有算法基于19世纪科学家赫尔曼·冯·赫尔姆霍兹(Hermann von Helmholtz)所做的工作，他将自己的名字命名为描述声音如何传播的等式。基于这一理论基础，科学家们设计了算法来创建三维声音模型：软件程序能够合成似乎真实的音频，因为声音的音量和方向取决于动作相对于听众的位置而变化。到目前为止，用于创建三维声音模型的最佳算法依赖于边界元素方法(BEM)，这是一个对商业用途来说成本太高的缓慢过程。

詹姆斯和他的研究生合作者王瑞贤开发了一种算法，通过避免亥姆霍兹方程和BEM，可以快速计算声音模型数百到数千倍。他们的方法灵感来自20世纪奥地利作曲家弗里茨海因里希克莱因，他发现了一种方法，将大量的钢琴音调和音符融合成一种叫做母弦的单一悦耳声音。科学家们将他们的算法KleinPAT命名为他的灵感 - 解释他们的方法是如何产生声音的他们在ACM SIGGRAPH 2019计算机图形和交互技术会议上发表的科学论文中的模型。“我们认为这是一个改变互动环境的游戏规则，”詹姆斯说。

标签：

版权声明：本文由用户上传，如有侵权请联系删除！