本项目属于计算机科学与技术领域。基于视觉的人物特征理解与场景分析是保障智慧城市公共安全的关键技术，契合上海市建设人工智能高地的重大战略，已有的技术系统成本高、缺陷多、智能化程度低，难以应对进博会等百万级别人群重大事件公共安防挑战、关系国家金融交易安全的远程核身问题，以及拐卖儿童等影响国家和社会民生的重大痛点问题。本项目历时8年，围绕上述挑战性难题，聚焦图像视频结构化分析、人物特征理解以及复杂场景分析等关键共性技术，依托国家自然科学基金重点和上海市科技创新重点计划等19个项目支持，从理论基础、关键技术到行业应用形成了完整的闭环体系。项目成果广泛应用于公共安防、互联网金融、社会民生等重大场景，产生社会经济效益超过19亿元，系列技术打破10多次世界纪录。主要创新成果如下：1）多层次富尺度的图像视频结构化分析创新方法针对复杂场景下的图像信息缺失、语义知识挖掘困难、光照环境剧烈变化等难点问题，提出从低层基础特征保持到高层语义信息挖掘、从大尺度的全局结构分析到细粒度的精细结构捕捉的技术思路，包括基于尺度图的高效图像恢复、基于显著性与深度学习的彩色灰度变换等代表性创新方法，为人物与场景分析系列技术提供数据增强与扩增保障，支撑百万规模人脸检索（MegaFace）、密集极小脸检测(WiderFace)等核心技术打破世界纪录。2）基于视觉特征的全流程人物理解技术体系围绕人物重识别、刷脸应用等涉及的大姿态、严重遮挡、防攻击等难点，项目提出了多中心人脸配准、跨年龄人脸验证、活体检测、人体姿态估计等创新技术，形成自适应的从人脸识别与表情分析到人体跟踪的全流程人物理解技术体系。人脸检测在FDDB上达到世界第一；人脸验证与识别在LFW上2次刷新世界纪录；人体跟踪任务分别在数据集MOT2015和MOT2017上达到了世界第一。3）复杂环境下大规模场景建模与分析系统针对复杂环境下的场景结构化分析与构建存在的技术瓶颈，首次提出了体数据的高质量拓扑结构提取、基于区域对比度与前景感知的显著性检测等系列技术；并进一步提出大规模3D场景下基于多层次分割与无缝连接的超高清渲染、建模与仿真技术，构建了复杂场景的全方位多层次分析和理解系统。基于提出的全流程人物与场景分析技术，系统首次突破进博会等百万级别人群的身份认证重大挑战。项目团队构建了人物特征理解与场景分析的技术体系与系统平台，授权发明专利42项，发表论文218篇。项目研究成果在众多应用场景中落地，产生了超过19亿的社会经济效益。其中，大数据人脸社交娱乐平台服务用户超5亿，在QQ、微信等业务中人脸相关API调用高峰达1亿次/天。人脸身份核实平台在2018年进博会中，日均使用30万人次，受到上海市公安局褒奖；智能化海量人脸检索系统找回1691名走失或被拐人员，包括11名被拐10年以上儿童，拯救数千家庭于绝望深渊，产生重大社会影响。