人机交互和基于语音识别-征途私服

研究是对开发完全沉浸式的人机交互的一种探索，主要分为两个子课题:
基于3D征途sf的人机交互和基于语音识别的人机交互。因此，本课题的具体研究目
标和内容也分别从这两个子课题展开论述。
(1)基于3D征途sf的人机交互的研究目标
考虑到在一般室内环境中，人体一般处于坐姿，下半身往往会被遮挡或位于图像之
外，因此主要由人体上半身的运动(手臂和头部)来传递征途sf信息，所以本项目中基
于3D征途sf的人机交互部分实现的是利用人体上半身姿态与计算机进行交互的系
统。基于3D征途sf的人机交互子课题的研究目标就是在室内环境下，通过运动捕捉
得到人体上半身的姿态参数，然后通过这些姿态参数建立3D游戏中角色模型的运动姿
态。
(2)基于 3D征途sf的人机交互的研究内容
①运动捕捉
基于征途sf的人机交互方式一般采用运动捕捉技术来获得反映征途sf的参数。
由于本子课题使用的是普通的USB接口的CMOS网络摄像头，因而使用的是基于视频
的人体运动捕捉。
基于视频的人体运动捕捉采用的技术手段有基于模型匹配与非基于模型匹配两种。
由于基于模型匹配的人体运动捕捉很难自动初始化，而且优化算法很慢，不能满足实时
性的要求，所以，目前基于视频人体运动捕捉的人机交互采用的是非基于模型匹配的方
法。非基于模型匹配的视频人体运动捕捉是本子课题需要研究的内容之一。
目前基于视频运动捕捉的人机交互的主要研究是基于单摄像机的跟踪，运动捕捉满
足实时性，并且跟踪算法具有鲁棒性和一定的自适应性，可以自动从错误中恢复。但是
其捕捉结果不一定是三维数据，而且其跟踪一般对关节位置定位精度要求不高。而本子
课题运动捕捉的结果是3D关节点坐标，要求捕捉精度比较高，因此当前基于视频运动
捕捉的人机交互研究不能完全符合本子课题的要求。
为了达到本子课题的要求，需要研究:特征提取技术、特征跟踪技术、双目立体视
觉系统。特征提取技术就是从图像中提取具有特征标记的人体关节点的位置。特征跟踪
技术，将从各序列图像中提取出来的人体关节点的二维位置进行匹配。也就是要找到一
个关节点在前后的序列图像中的对应关系。运动捕捉的跟踪算法要满足实时性，要有一
定的自适应性，可以自动从错误中恢复，并具有鲁棒性。双目立体视觉系统，由于本子
课题要反映3D征途sf，运动捕捉得到各关节点的二维坐标之后，需要借助双目立体
视觉系统重建关节点在世界空间中的三维位置。具体来说，主要是使用摄像机标定和三
维重构两个技术。
本文来源:征途私服：http://www.ztsf.cn，如需转载[人机交互和基于语音识别]，请保留版权