“没有它，虚拟现实（VR）就没办法栩栩如生，也很难摒除人们的不信任感，但这一点往往是游戏和应用开发人员第二点去思考的方面，”微软高级项目经理Hakon Strande表示。

他指的的什么呢？想象你戴着VR头盔走在大街上，一切都模拟地微妙微翘，此时一辆公交缓缓朝你驶来，但由于声音模拟不到位，你无从判断它到底是位于哪个方向的。
Strande指的这一点正是声音，而这一领域也是微软在自家的混合现实（MR）头盔HoloLens中花大力气去打造的一个特色。
除了全息图像，HoloLens的法宝还有啥？

众所周知，HoloLens能够在人们所看到的现实世界中投射全息图形，但很少有人知道它的音频功能也非常强大，由于使用了微软自己研发的空间音频系统，虚拟世界里的音频听上去会非常可信。
微软音频创新总监Matthew Lee Johnston表示：“空间音频将会让环境表现得更为真实，让人类的大脑在环境中明白物体所在。”
那么，这一系统是如何打造的呢？

Johnston介绍，HoloLens的音频系统模仿的是大脑处理声音时的过程，“我们日常体验到的是空间音频。所有人都一直在听取、定位周围发出的声音，而大脑则不断地理解去处理这些声音，把它们在周围的世界一一定位出来。”
一系列的听觉线索，是大脑精确定位声音源的依靠。回到本文开头的例子，如果公交车从右方驶来，则离它近的耳朵会比距离较远的耳朵更先听到，声音也会更大。就是这些线索辅助大脑来确定物体的位置。
除此之外，在声波进入人的耳道之前，它会先和外耳、头部甚至脖子发生接触。根据这些器官的形状、大小和人的位置不同，每个声音都会受到不同程度的影响。而这些微妙的变化被称为HRTF（头相关变换函数），导致了不同的人听到的声音都会有所不同。

别小看这些细微差别，正是他们形成了最关键的空间音频体验。因此，“如果使用通用的解决方案或过滤器的话，就只能满足这世界上一半的用户了。所以为了让混合现实（MR）的体验每个人都能玩转，我们必须要找到一种方法，来打造属于个人的听觉系统，”微软研究中心的音频团队主管”Ivan Tashev解释道。
于是他的团队开始在研究中心收集大量的数据。如何收集？使用的还是比较原始的办法，即通过收集数百人的HRTF，建立自己的听觉档案。对对象的头部进行听觉测量和精细的3D扫描。如此一来，在被新用户戴上的时候，HoloLens设备就可以根据这些样本，快速而谨慎地匹配数据库中存储的最为接近的档案。
听觉模型是如何建立的？

世界上首个无回声房间
Tashev在微软总部的听觉测量房间是完全无回声的，是在声音吸收层上由丝网构成的房间，能够吸收一切声音和震动。这种房间首创于1943年，由哈弗电声研究中心主管Leo Beranek博士打造。
微软一共收集了350人的HRTF。这一具体操作是由一个携带60个话筒的黑色装置、以及对象耳中一对橘黄色麦克风而完成的。黑色装置会间歇发出尖利、宛若激光的声音，而当声波进入对象耳中的时候，麦克风就会捕捉到这些声波。
那么，这些声波如何使用呢？团队能够捕捉左耳和右耳所接收到的400个方向的音频线索，从而对每个音源都形成一对HRTF数据。“如果所有可能方向的声音HRTF数据我们都了解了，就能重建你的空间听觉，如此一来就可以欺骗用户的大脑，我想让他们听到什么，他们就会听到什么。”

HoloLens的头部追踪

光有这些还不够，另外一大必备要素就是头部追踪——头部的方向对声音接触耳朵能够造成最直接的影响。还是拿公交车做例子，当直视车辆和拿右耳朝着公交车的时候，听到的声音是不同的。
不过对于HoloLens来说，团队并不需要从零开始解决头部追踪的问题，设备上搭载的六个摄像头之一会持续观测用户的头部运动，而音频系统只需要把这一信息拿去用即可。

虽然技术团队强大，但微软并非首个、也非唯一能够打造个人化音频系统的公司。如普林斯顿大学和马里兰大学的研究中心，都拥有测量HRTF打造自身听觉库的能力。
但微软的音频测量，用户是留意不到的。在首次戴上HoloLens的时候，用户只会被要求让设备测量自己瞳孔的间距。但在这一过程中，其实它会偷偷通过瞳间距得出两耳之间距离的参考数值，从而了解到用户的HRTF到底与哪种数据库里的模型最为匹配。
选好合适的耳机很重要

一切都准备好了之后，最后的问题来了——哪种耳机最合适呢？
虽然微软曾经考虑过耳塞式耳机，但最终被团队否决了，因为“除了虚拟物体的声音外，用户还必须听到真实世界的声音”，否则那就不是增强现实（AR）或混合现实（MR）而是虚拟现实（VR）了。Hakon Strande表示：“我们需要有一个装置在用户的耳朵外部。”

最终他们提出的方案就是今天HoloLens所采用的外观细长的红色耳机，它位于用户耳朵上方的头箍上。不会影响用户听到真实世界的声音，又能播放虚拟物体的音效。
对此Strande感觉很自豪：“大多数人都不会意识到那里有个扬声器。当用户首次尝试这个设备并听到空间里的声音时，他们会真的觉得环境中有话筒在播放声音。这很好地说明了模拟地效果在当前有多么逼真。”
空间音频技术未来将应用在Windows 10对应的VR头盔上

虽然这一技术目前应用在HoloLens上，但随着微软在10月26日公布VR头盔，这一空间音频技术当然将会在Windows 10支持的所有设备上跨平台使用。
对此Strande表示：“音频对于MR和VR的体验来说是非常重要的。而这通常是游戏和应用开发者第二步才会去思考的领域，但是没有音频，就没办法使人信服。要让虚拟物体栩栩如生，尤其是对那些在用户周围移动的全系图像来说，音频是必须去考虑的角度。”