ai产品评测与抗疫支撑

研究领域覆盖人工智能全产业链，建设开源生态、打造相关技术标准、推动可信AI落地，促进产业融合。

标准评测工作是促进人工智能行业健康发展的重要保障。得益于深度学习技术的突破，计算机视觉、自然语言处理算法等在部分领域已达到落地商用的水平。由于技术实力和成本等原因，导致市场上智能产品质量良莠不齐，甚至存在严重的安全漏洞等。针对人工智能产品的评估规范出台相对滞后，产业界需要第三方评估，进行规范和约束。为推动人工智能更好的赋能行业，增强用户采购和使用智能化产品的透明度，积极开展评测工作。

围绕人工智能标准和规范打造标准和评估评测服务能力。积极牵头和参与国内外标准制定，基于ITU-T SG13 SG16，IEEE、3GPP、CCSA TC1、TC11，AIIA标准组，评估工作组，立项在研标准数十项；关注和跟踪技术、产业发展动态，不断迭代相关标准和规范，满足市场需求；涵盖芯片、算法、服务平台、智能语音服务、计算机视觉服务、智能终端、智能手机等多个领域。人工智能关键技术和应用评测工业和信息化部重点实验室公布规范体系，如图25所示。针对产业界需求，建设专用的计算环境、评测数据集、测试实验室等能力；形成了计算和存储资源，专用环境，数据集等完整的测试能力。并建设人工智能评测平台，提升行业影响力，如图26所示。

重点评测领域1：AIIA DNN Benchmark

工作目标：在芯片发展过程中，基于清晰指标的技术竞争可以帮助企业快速进步。AIIA DNN benchmark致力于客观地 反应 AI 加速器能力现状，所有度量指标旨在提供客观的比对维度。

工作方式：「版本迭代、不断丰富完善」，训练 +推断，端+云。

AIIA Benchmark能够促进产业技术优中选优，如图28所示。建立AIIA Benchmark体系，切实反映人工智能产业发展过程中的技术痛点，明确技术竞争方向，帮助在帮助全产业AI相关企业产品宣传、相关应用行业选型的同时，促进技术进步，使得应用/技术/系统能更贴合实际应用场景需求。主要包括三个方面：面向应用产业的benchmark（在研），面向基础应用技术的benchmark（在研），面向底层硬件/系统的AIIA DNN benchmark（已推出）。

AIIA针对基础应用技术在基于算法/解决方案赋能相应提供商的特定场景，构建明确技术需求的基准测试指标，以产业需求推动技术演进；针对AI技术赋能的行业，提供面向真实应用场景的评测指标与测试数据集，量化用户需求，真实反映产品能力；客观反应AI加速器/硬件系统能力实际应用现状，所有度量指标旨在提供客观的比对维度。基准测试结果可为应用企业提供选型参考，同时为芯片/硬件系统企业提供第三方评测结果。

已发布三轮v0.5版本评估结果。其中端侧推断任务基准测试完成两轮共7款芯片，云侧推断任务完成首轮试评估共4款芯片

重点评测领域2：计算机视觉技术和产品

重点评测产品：企业级智能人脸摄像机化分级

《计算机视觉应用智能化分级：第1部分：企业级智能人脸摄像机》。

评估规范起草单位名单：中国信息通信研究院、华为技术有限公司、北京易诚高科科技发展有限公司、重庆中科云从科技有限公司、南京新一代人工智能研究院、上海诺基亚贝尔股份有限公司。

测试方法：材料检查+技术测试。
测试能力：活体检测数据集+100人视频数据集（包括园区出入口、室内走廊等）。
测试情况：2019年9月23日，组织首轮评测，华为、云从、旷视三家企业参与测试。
重点评测产品：家用智能摄像头人形检测能力
《计算机视觉应用智能化分级：第2部分：家用智能摄像头人形检测能力》
评估规范起草单位：中国信息通信研究院、华为技术有限公司、南京新一代人工智能研究院、重庆中科云从科技有限公司、中兴通讯股份有限公司。
评估测试指标要求：1）准确率：进行多次测试，摄像头成功识别人形的次数占总测试次数的比值。2）响应时延： 摄像头从拍摄人形到识别的时延。时延越短，响应能力越强。3）有效识别距离： 摄像头能够进行有效人形检测的最大距离。
测试方法：技术测试
测试能力：真人数据集+非真人数据集
测试情况：2019年9月23日，组织首轮评测，登虹、海雀两家企业参与测试
重点评测领域3：智能语音技术和产品
AIIA相关技术和应用领域评估规范：《中文语音合成服务系统评估规范》、《中文语音识别服务系统评估规范》、《声纹识别（自动说话人）服务系统评估规范》、《智能音箱化等级指标要求和评估方法》、《机器翻译服务系统评估规范》、《智能客服系统 第1部分:功能指标要求和评估方法》