该项目属于人工智能领域。随着近年智能硬件的快速普及，以语音为主要通道的自然口语交互正在成为人机沟通最便捷的方式。虽然配合式近场语音识别已经在产业界得到应用，但却不能满足智能硬件非配合式的理解式交互需求，成为产业应用瓶颈。本项目开展非配合式的感知认知全链路自然口语交互系统技术的研发，通过产学研联合研究和攻关，成功研发场景化的面向智能硬件的自然口语对话系统解决方案。主要创新成果如下：1. 智能硬件复杂交互场景下的抗噪语音识别技术。针对复杂场景下非配合语音识别的精度、速度和大数据训练问题，提出了新型的深度学习抗噪模型、音素同步快速解码算法和深度学习并行训练加速算法。取得国际标准抗噪识别测试集合中最低的识别错误率，语音识别搜索速度综合20倍以上提升，万小时语音数据单日训练完成等成果。在硬件端，研发完成适配多类型智能硬件的音频传输和麦克风阵列信号处理技术及硬件模组，实现高精度远场声源跟踪和定位。2. 低资源离线语音唤醒及超短时声纹识别技术。针对智能硬件的非联网、低资源语音唤醒和复杂场景的超短时声纹识别问题，提出了具有低计算复杂度的新型深度特征声纹识别和非限定语音唤醒算法，极大提升了小型硬件设备唤醒和声纹验证的精度和计算速度。3. 可扩展的稳健语义理解及容错对话技术。针对任务型对话的语义领域多变、识别错误和理解歧义导致的理解不稳定问题，提出了知识和数据双驱动的语义理解和对话状态跟踪框架，实现数据不充分情况下的高精度语义理解和对话状态跟踪，满足语义领域快速扩展的需求。发明了口语对话系统的容错纠错技术，并在产业界首个在车载口语对话系统中实施。4. 松耦合任务型对话系统架构及对话系统定制化技术。针对全链路自然口语对话系统的大规模个性化定制问题，发明了松耦合任务型对话系统架构，建立了国内首个软硬件一体化的“云+端”全链路任务型口语对话系统定制平台。针对定制系统的语音交互性能提升，研发了语音识别、语义理解的系列模型自适应技术，发明了针对语言模型、对话技能的定制系统和新型交互式输入方法。项目获得国家授权发明专利 44 项、软件著作权15项，形成国家标准 2 项。相关成果在智能车载、智能家居、智能机器人等领域取得了大规模应用。在智能车载方面，成果被应用于智能车载终端产品上，包括上汽、吉利、东风、五菱、一汽等前装产品，以及360行车记录仪等后装产品；在智能家居方面，成果已被应用于长虹、海尔、西门子、海信等各大家电及厨卫品牌，以及阿里、腾讯、联想等智能音箱，在智能音箱市场占有率超80%；在智能机器人方面，成果已被应用到腾讯、京东、小霸王等品牌的机器人中。累计注册智能硬件终端超过 5000 万，近三年新增产值 47 亿元。