人类因为具有语言能力而区别于其他物种,而智能语音互动将人与机器巧妙的联系起来,让机器识别并懂得人类语言。生活中使用最多的就是手机语音交互,它可以解放用户双手,实现更加便捷、优质的交互体验。作为越来越重要的一项功能,我们应该从哪些维度来判断语音交互的好坏?
2019年10月20日,软件绿色联盟标准评测工作组正式发布《手机智能语音交互测试标准》,从手机智能语音评价分级、手机智能语音系统评价指标与执行说明及评测数据等多方面进行了说明与规范。
《手机智能语音交互测试标准》于今日起正式对外公示并征求广大应用开发者意见。欢迎业内专家、应用开发者对本标准发表看法,重点内容如下:
1
1.手机智能语音系统定义
手机智能语音是指将现有语音识别、语音合成、语义理解等智能语音语义技术应用于手机终端的功能体现。手机中最常见的应用是语音助手,此类能力的特点是以语音作为操作输入,完成用户相关请求,此类能力可解放用户双手,直接语音操控手机,实现更加便捷、优质的交互体验。
2.手机智能语音评价分级
根据手机语音系统的服务对象和内容,定义智能语音系统评测模型从唤醒服务、对话服务、其它功能三个维度评估智能语音系统,指标权重定义分别为15%;70%;15%。
权重解释:
将唤醒服务得分、对话服务得分、其它功能得分累计,总分1000分根据智能化程度,将其分为L1-L5共5个等级,每个等级的分数范围(实际得分按满分1000分折算)见以下表格。通过对各个指标项的专业评测,最终确定对应的等级。
3.手机智能语音系统评价指标与执行说明
- 唤醒业务评测时,测试人数大于50人,分别从唤醒率、误闯率、误唤醒率、唤醒时延等维度进行测试。
- 对话服务评测时,语料>5000句,人数大于100人,语料内容为用户常用业务范围。
4.语音业务测试方法
将录制好的原始人声、与环境噪音在试验室中配套播放出来,根据期望的结果判定结果是否正确并根据指标要求进行记录与统计。
人声由发音设备发出,环境噪声由噪音设备发出,通过放置可控机械支架,任意调整手机与人工嘴距离,角度。
【发声设备】:人工头语音嘴,语音嘴可通过设置,模拟出喉,嘴、舌、口腔对应发出的声音。
【噪声设备】:8个喇叭360度环绕人工头,播放各方向的噪声。
实验室8喇叭环绕示意图
人工嘴样图
·END·
