研究L域覆蓋人工智能全產(chǎn)業(yè)鏈，建設(shè)開(kāi)源生態(tài)、打造相關(guān)技術(shù)標(biāo)準(zhǔn)、推動(dòng)可信AI落地，促進(jìn)產(chǎn)業(yè)融合。

標(biāo)準(zhǔn)評(píng)測(cè)工作是促進(jìn)人工智能行業(yè)健康發(fā)展的重要保障。得益于深度學(xué)習(xí)技術(shù)的突破，計(jì)算機(jī)視覺(jué)、自然語(yǔ)言處理算法等在部分L域已達(dá)到落地商用的水平。由于技術(shù)實(shí)力和成本等原因，導(dǎo)致市場(chǎng)上智能產(chǎn)品質(zhì)量良莠不齊，甚至存在嚴(yán)重的安全漏洞等。針對(duì)人工智能產(chǎn)品的評(píng)估規(guī)范出臺(tái)相對(duì)滯后，產(chǎn)業(yè)界需要第三方評(píng)估，進(jìn)行規(guī)范和約束。為推動(dòng)人工智能更好的賦能行業(yè)，增強(qiáng)用戶采購(gòu)和使用智能化產(chǎn)品的透明度，積J開(kāi)展評(píng)測(cè)工作。

圍繞人工智能標(biāo)準(zhǔn)和規(guī)范打造標(biāo)準(zhǔn)和評(píng)估評(píng)測(cè)服務(wù)能力。積J牽頭和參與國(guó)內(nèi)外標(biāo)準(zhǔn)制定，基于ITU-T SG13 SG16，IEEE、3GPP、CCSA TC1、TC11，AIIA標(biāo)準(zhǔn)組，評(píng)估工作組，立項(xiàng)在研標(biāo)準(zhǔn)數(shù)十項(xiàng)；關(guān)注和跟蹤技術(shù)、產(chǎn)業(yè)發(fā)展動(dòng)態(tài)，不斷迭代相關(guān)標(biāo)準(zhǔn)和規(guī)范，滿足市場(chǎng)需求；涵蓋芯片、算法、服務(wù)平臺(tái)、智能語(yǔ)音服務(wù)、計(jì)算機(jī)視覺(jué)服務(wù)、智能終端、智能手機(jī)等多個(gè)L域。人工智能關(guān)鍵技術(shù)和應(yīng)用評(píng)測(cè)工業(yè)和信息化部重點(diǎn)實(shí)驗(yàn)室公布規(guī)范體系，如圖25所示。針對(duì)產(chǎn)業(yè)界需求，建設(shè)專用的計(jì)算環(huán)境、評(píng)測(cè)數(shù)據(jù)集、測(cè)試實(shí)驗(yàn)室等能力；形成了計(jì)算和存儲(chǔ)資源，專用環(huán)境，數(shù)據(jù)集等完整的測(cè)試能力。并建設(shè)人工智能評(píng)測(cè)平臺(tái)，提升行業(yè)影響力，如圖26所示。

重點(diǎn)評(píng)測(cè)L域1：AIIA DNN Benchmark

工作目標(biāo)：在芯片發(fā)展過(guò)程中，基于清晰指標(biāo)的技術(shù)競(jìng)爭(zhēng)可以幫助企業(yè)快速進(jìn)步。AIIA DNN benchmark致力于客觀地 反應(yīng) AI 加速器能力現(xiàn)狀，所有度量指標(biāo)旨在提供客觀的比對(duì)維度。

工作方式：「版本迭代、不斷豐富完善」，訓(xùn)練 +推斷，端+云。

AIIA Benchmark能夠促進(jìn)產(chǎn)業(yè)技術(shù)優(yōu)中選優(yōu)，如圖28所示。建立AIIA Benchmark體系，切實(shí)反映人工智能產(chǎn)業(yè)發(fā)展過(guò)程中的技術(shù)痛點(diǎn)，明確技術(shù)競(jìng)爭(zhēng)方向，幫助在幫助全產(chǎn)業(yè)AI相關(guān)企業(yè)產(chǎn)品宣傳、相關(guān)應(yīng)用行業(yè)選型的同時(shí)，促進(jìn)技術(shù)進(jìn)步，使得應(yīng)用/技術(shù)/系統(tǒng)能更貼合實(shí)際應(yīng)用場(chǎng)景需求。主要包括三個(gè)方面：面向應(yīng)用產(chǎn)業(yè)的benchmark（在研），面向基礎(chǔ)應(yīng)用技術(shù)的benchmark（在研），面向底層硬件/系統(tǒng)的AIIA DNN benchmark（已推出）。

AIIA針對(duì)基礎(chǔ)應(yīng)用技術(shù)在基于算法/解決方案賦能相應(yīng)提供商的特定場(chǎng)景，構(gòu)建明確技術(shù)需求的基準(zhǔn)測(cè)試指標(biāo)，以產(chǎn)業(yè)需求推動(dòng)技術(shù)演進(jìn)；針對(duì)AI技術(shù)賦能的行業(yè)，提供面向真實(shí)應(yīng)用場(chǎng)景的評(píng)測(cè)指標(biāo)與測(cè)試數(shù)據(jù)集，量化用戶需求，真實(shí)反映產(chǎn)品能力；客觀反應(yīng)AI加速器/硬件系統(tǒng)能力實(shí)際應(yīng)用現(xiàn)狀，所有度量指標(biāo)旨在提供客觀的比對(duì)維度。基準(zhǔn)測(cè)試結(jié)果可為應(yīng)用企業(yè)提供選型參考，同時(shí)為芯片/硬件系統(tǒng)企業(yè)提供第三方評(píng)測(cè)結(jié)果。

已發(fā)布三輪v0.5版本評(píng)估結(jié)果。其中端側(cè)推斷任務(wù)基準(zhǔn)測(cè)試完成兩輪共7款芯片，云側(cè)推斷任務(wù)完成輪試評(píng)估共4款芯片

重點(diǎn)評(píng)測(cè)L域2：計(jì)算機(jī)視覺(jué)技術(shù)和產(chǎn)品

重點(diǎn)評(píng)測(cè)產(chǎn)品：企業(yè)J智能人臉攝像機(jī)化分J

《計(jì)算機(jī)視覺(jué)應(yīng)用智能化分J：第1部分：企業(yè)J智能人臉攝像機(jī)》。

評(píng)估規(guī)范起草單位名單：信息通信研究院、華為技術(shù)有限公司、北京易誠(chéng)G科科技發(fā)展有限公司、重慶中科云從科技有限公司、南京新一代人工智能研究院、上海諾基亞貝爾股份有限公司。

測(cè)試方法：材料檢查+技術(shù)測(cè)試。
測(cè)試能力：活體檢測(cè)數(shù)據(jù)集+100人視頻數(shù)據(jù)集（包括園區(qū)出入口、室內(nèi)走廊等）。
測(cè)試情況：2019年9月23日，組織輪評(píng)測(cè)，華為、云從、曠視三家企業(yè)參與測(cè)試。
重點(diǎn)評(píng)測(cè)產(chǎn)品：家用智能攝像頭人形檢測(cè)能力
《計(jì)算機(jī)視覺(jué)應(yīng)用智能化分J：第2部分：家用智能攝像頭人形檢測(cè)能力》
評(píng)估規(guī)范起草單位：信息通信研究院、華為技術(shù)有限公司、南京新一代人工智能研究院、重慶中科云從科技有限公司、中興通訊股份有限公司。
評(píng)估測(cè)試指標(biāo)要求：1）準(zhǔn)確率：進(jìn)行多次測(cè)試，攝像頭成功識(shí)別人形的次數(shù)占總測(cè)試次數(shù)的比值。2）響應(yīng)時(shí)延： 攝像頭從拍攝人形到識(shí)別的時(shí)延。時(shí)延越短，響應(yīng)能力越強(qiáng)。3）有效識(shí)別距離： 攝像頭能夠進(jìn)行有效人形檢測(cè)的大距離。
測(cè)試方法：技術(shù)測(cè)試
測(cè)試能力：真人數(shù)據(jù)集+非真人數(shù)據(jù)集
測(cè)試情況：2019年9月23日，組織輪評(píng)測(cè)，登虹、海雀兩家企業(yè)參與測(cè)試
重點(diǎn)評(píng)測(cè)L域3：智能語(yǔ)音技術(shù)和產(chǎn)品
AIIA相關(guān)技術(shù)和應(yīng)用L域評(píng)估規(guī)范：《中文語(yǔ)音合成服務(wù)系統(tǒng)評(píng)估規(guī)范》、《中文語(yǔ)音識(shí)別服務(wù)系統(tǒng)評(píng)估規(guī)范》、《聲紋識(shí)別（自動(dòng)說(shuō)話人）服務(wù)系統(tǒng)評(píng)估規(guī)范》、《智能音箱化等J指標(biāo)要求和評(píng)估方法》、《機(jī)器翻譯服務(wù)系統(tǒng)評(píng)估規(guī)范》、《智能客服系統(tǒng) 第1部分:功能指標(biāo)要求和評(píng)估方法》