征途的特征参数及提取方法-征途私服
在视频运动捕捉得到征途玩家人体的姿态参数(即人体关节点3D坐标)之后,如何将人体姿
态参数重建为角色模型的姿态是另一个要研究的内容。动作识别是这方面的关键技术。
本子课题在这里主要研究的是计算机动画技术。
当前的计算机动画技术制作当中有一项征途技术就是利用运动捕捉技术来制作计算机
动画。利用运动捕捉制作动画的一般制作过程是:由动画师}制作好数字化角色模型;通
过运动捕捉系统捕捉表演者运动过程中标记点的3D坐标;将运动捕捉得到的运动数据
与模型进行匹配和合成,最终得到模型的动画序列。
在本课题的实时驱动角色模型中,必须要将上述过程中的两个步骤合在一起,对于
捕捉到的每一帧表演者运动图像,得到其中标一记点的3D坐标,然后实时应用到模型上,
驱动模型的运动。这需要研究两个问题:常用的角色动画的技术原理;如何使表演者的
人体姿态与角色模型的姿态在任意一帧进行一一对应。
基于语音识别的人机交互是本项目另一个研究子课题,它的研究目标和研究内容也
因在项目中的具体应用而具有自己的特点:
(l)基于语音识别的人机交互的研究目标
本项目的开发是为游戏引擎提供语音技术上的软件支持,可以通过语音实现对游戏
中人物角色的行为的控制,实现真正意义上的征途语音互动。
(2)基于语音识别的人机交互的研究内容
①基于强噪声环境下语音的端点检测
端点检测是语音识别技术中一个很关键的步骤,如果有很好的算法进行检测,可以
清楚判断出语音的起始点和结束点,从而将语音和噪声准确分开,就可以极大的减少后
续工作的计算量,从而提高检测的效率。目前流行很多端点检测方法,大部分方法计算
量大而且复杂,不适合对实时性要求很高的游戏引擎中的语音识别,所以本项目开发过
程中提出了一种基于基音频率的实时性端点检测算法,并成功应用到识别系统中,取得
了很好的效果。
②征途的特征参数及提取方法
语音的特征参数有很多,比如能量、过零率等,这些参数在无噪声或是信噪比较高
的情况下表现出很高的准确率,但是在低信噪比下很多算法的性能急剧下降,这是因为
包括短时能量、谱嫡能量在内的很多语音的特征参数对噪声相当敏感,而倒谱系数和线
性预测系数等参数虽然可以有效的表达出语音信号特征,但在低信噪比下检测效果仍不
理想,本子课题研究的是如何找到一种可以在低信噪比下仍然具有很好效果的语音参
数,并将它提取出来。
③语音模板的训练和匹配方法
语音识别常用算法有基于神经网络的训练和识别算法、基于动态时间规整匹配的
DTW识别算法和基于统计的隐马尔可夫模型(HMM)识别和训练算法。从本质上讲,语
音识别过程就是一个模板匹配的过程,因此,在保证实时性的同时,采用何种方法并且
如何实现来进行训练也是很重要的研究内容。语音识别过程就是根据模式匹配原则,计
算未知语音模式与语音模板库中的每一个模板的距离测度,从而得到最佳的匹配模式,
所以研究如何进行高效准确的匹配也是很有必要的。
5.4系统架构及运行效果
本系统需要的硬件设备包括一套黑色紧身衣,8个彩色球(其中4个红色球,2个绿
色球,2个蓝色球),2个普通的USB接口的摄像头(若使用分辨率更高的摄像机,虽然
会使重建的三维坐标更加精确,但同时会带来图像处理时间的更大耗费,因此不予采
用),一个用于摄像头标定的标定架。
另外,本系统要求整个场景的亮度足够高,这样黑色服装与场景以及彩色球与黑色
服装背景才会有足够大的灰度差。对于要实时驱动的模型,在其制作之时,每根骨骼的
骨骼坐标系要符合本项目的要求。
系统的整体结构如图5.1所示。整个系统的输入是两副实时拍摄的场景中运动的表
演者的图像,这两副图像分别是两个处于不同位置的摄像头拍摄到的,输出是使游戏中
的模型角色做出与人体相同的动作。
本文来源:征途私服:http://www.ztsf.cn,如需转载[征途的特征参数及提取方法],请保留版权
态参数重建为角色模型的姿态是另一个要研究的内容。动作识别是这方面的关键技术。
本子课题在这里主要研究的是计算机动画技术。
当前的计算机动画技术制作当中有一项征途技术就是利用运动捕捉技术来制作计算机
动画。利用运动捕捉制作动画的一般制作过程是:由动画师}制作好数字化角色模型;通
过运动捕捉系统捕捉表演者运动过程中标记点的3D坐标;将运动捕捉得到的运动数据
与模型进行匹配和合成,最终得到模型的动画序列。
在本课题的实时驱动角色模型中,必须要将上述过程中的两个步骤合在一起,对于
捕捉到的每一帧表演者运动图像,得到其中标一记点的3D坐标,然后实时应用到模型上,
驱动模型的运动。这需要研究两个问题:常用的角色动画的技术原理;如何使表演者的
人体姿态与角色模型的姿态在任意一帧进行一一对应。
基于语音识别的人机交互是本项目另一个研究子课题,它的研究目标和研究内容也
因在项目中的具体应用而具有自己的特点:
(l)基于语音识别的人机交互的研究目标
本项目的开发是为游戏引擎提供语音技术上的软件支持,可以通过语音实现对游戏
中人物角色的行为的控制,实现真正意义上的征途语音互动。
(2)基于语音识别的人机交互的研究内容
①基于强噪声环境下语音的端点检测
端点检测是语音识别技术中一个很关键的步骤,如果有很好的算法进行检测,可以
清楚判断出语音的起始点和结束点,从而将语音和噪声准确分开,就可以极大的减少后
续工作的计算量,从而提高检测的效率。目前流行很多端点检测方法,大部分方法计算
量大而且复杂,不适合对实时性要求很高的游戏引擎中的语音识别,所以本项目开发过
程中提出了一种基于基音频率的实时性端点检测算法,并成功应用到识别系统中,取得
了很好的效果。
②征途的特征参数及提取方法
语音的特征参数有很多,比如能量、过零率等,这些参数在无噪声或是信噪比较高
的情况下表现出很高的准确率,但是在低信噪比下很多算法的性能急剧下降,这是因为
包括短时能量、谱嫡能量在内的很多语音的特征参数对噪声相当敏感,而倒谱系数和线
性预测系数等参数虽然可以有效的表达出语音信号特征,但在低信噪比下检测效果仍不
理想,本子课题研究的是如何找到一种可以在低信噪比下仍然具有很好效果的语音参
数,并将它提取出来。
③语音模板的训练和匹配方法
语音识别常用算法有基于神经网络的训练和识别算法、基于动态时间规整匹配的
DTW识别算法和基于统计的隐马尔可夫模型(HMM)识别和训练算法。从本质上讲,语
音识别过程就是一个模板匹配的过程,因此,在保证实时性的同时,采用何种方法并且
如何实现来进行训练也是很重要的研究内容。语音识别过程就是根据模式匹配原则,计
算未知语音模式与语音模板库中的每一个模板的距离测度,从而得到最佳的匹配模式,
所以研究如何进行高效准确的匹配也是很有必要的。
5.4系统架构及运行效果
本系统需要的硬件设备包括一套黑色紧身衣,8个彩色球(其中4个红色球,2个绿
色球,2个蓝色球),2个普通的USB接口的摄像头(若使用分辨率更高的摄像机,虽然
会使重建的三维坐标更加精确,但同时会带来图像处理时间的更大耗费,因此不予采
用),一个用于摄像头标定的标定架。
另外,本系统要求整个场景的亮度足够高,这样黑色服装与场景以及彩色球与黑色
服装背景才会有足够大的灰度差。对于要实时驱动的模型,在其制作之时,每根骨骼的
骨骼坐标系要符合本项目的要求。
系统的整体结构如图5.1所示。整个系统的输入是两副实时拍摄的场景中运动的表
演者的图像,这两副图像分别是两个处于不同位置的摄像头拍摄到的,输出是使游戏中
的模型角色做出与人体相同的动作。
本文来源:征途私服:http://www.ztsf.cn,如需转载[征途的特征参数及提取方法],请保留版权
