科普知识：Kinect内部主要技术

Schelfaniel

原文地址：http://www.t3.com/feature/xbox-kinect-how-the-movement-tracking-works

1、动作识别部分

Kinect内部的光学部件是让Kinect实现实时动作捕捉的部分。这部分的技术非常复杂。这种技术15年前就存在了，但是直到最近成本才下降到可以接受的程度。 光学部分包括两个主要部件：红外线发射器和红外线/VGA摄像头组。红外线发射器发出一道“激光”（原文注：别担心，微软说了这个很安全。译者注：这个“激光”应该是原文在搞笑。）覆盖整个Kinect的可视范围，摄像头组接收反射光线来识别玩家。红外摄像头识别图像的是一个“深度场”（Depth Field），其中每一像素的颜色代表了那一点物体到摄像头的距离。比如离摄像头近的身体呈亮红色、绿色等，而离摄像头远的物体则呈暗灰色。 软件接手深度场后，运行一系列的滤镜程序，区分人体和其他的物体。系统识别人体时遵从一些基本的规律，比如一个人的身高是从xx到xx，“人体应该有四肢”等等。这样程序就不会把你的茶几或是狗狗当初另一个玩家了。还有程序能让系统在你穿着宽松的衣服，或者长发披肩的时候识别出你的身体。当我们从Kinect的开发工具中看识别的人体图像时，发现Kinect相当准许地通过不多的信息识别出人体部位。 人体部位识别完成后，系统将数据整合成一个由活动关节组成的骨架图。Kinect系统内预存了200多个常见的人体姿势，以便当Kinect接收的信息不全的时候猜测玩家的动作（比如玩家部分身体脱离了可视范围，或者身体一些部位被挡住时等等）。唯一的一个问题是，我们发现玩家的手指在Kinect里并没被单独识别，也就是说在FPS时玩家假装手里有把枪，用食指扣扳机的动作Kinect是识别不了的。 系统以每秒30次的速度进行动作识别。 Kinect通过组合基本的面部识别和骨架识别来识别玩家的身份实现自动登录。用这个功能之前玩家需要先完成一个“注册”过程。微软说玩家的外表如果有了大幅改变的话，需要重新在Kinect上注册，系统才能识别他们。

2、语音识别部分

语音识别部分面临的主要问题是如何在3米以外过滤掉背景噪音和其他不相干声音，准确地识别出玩家的语音。为了解决这个问题，微软的研究小组亲自进入250多个家庭实验，用16个麦克风在不同的设定下录音，以找出最佳的麦克风位置设定。 最终的最佳设定是四只开口朝下的麦克风（为了让Kinect正面简洁，没有可见的开口），左边一个，右边三个。事实上，这些麦克风的位置安排是Kinect本身做得这么宽的原因。 这个麦克风组最擅长在远距离上识别人的语音。但是麦克风组还不是全部，Kinect内部有处理芯片来过滤噪音和其他不相干的声音。系统还包含一个叫“Beam Forming”的软件来配合摄像头识别玩家的位置，以便准确地把语言识别范围控制在玩家身上，同时压制玩家身边的别的人发出的声音。 Kinect系统还有一个根据不同国家不同的口音建立了“声效模型”。为了建立这个模型，微软请了从各个国家地区来的演员，进行了数百个小时的语言录制工作。 就像的图像识别部分一样，Kinect的声音识别部分也是随时工作的。Kinect的语言识别是工作在“开放麦克风”模式下，也就是说玩家在使用Kinect是随时可以发出语音指令，无需按特殊的按键。

3、内置马达

Kinect技术的最后一部分是它的内置马达。微软花时间研究了北美、欧洲和亚洲的家庭生活空间，意识到了Kinect必须能够上下调整以便使用不同的空间要求。 但你拿到Kinect以后，你就会发现它的底座儿特别厚重沉实。当然这是为了防止Kinect容易翻倒。另一个原因就是Kinect的内置马达就装在那里。这个马达能让Kinect摄像头上下进行30度的调整。这样无论你把它摆在高度（原文注：最佳高度是一米到两米之间）都能使用。 我们参观微软的实验室时微软向我们展示了他们对这个马达进行的极限测试，比如在极高的温度下，进行高频率使用（连续数月每天数千次上下调整操作）。他们还在非常安静的隔音室里实验Kinect以确保马达操作时不会发出噪音。微软保证说这个马达操作时发出的声音只有24分贝，一般家庭的正常环境噪音范围是在40分贝左右。 这个马达也带动Kinect的自动聚焦功能。这个功能让Kinect有更大的使用范围。比如在****的时候，有玩家从远处走近Kinect，Kinect能自动拉动焦距，保持聚焦在玩家身上。另外Kinect内部还有一个风扇，但只在必要的时候才会启动，以免噪音影响Kinect的语音识别功能。