2021年12月9日，defenseone網(wǎng)站發(fā)布評(píng)論文章，題為“This Air Force Targeting AI Thought It Had a 90% Success Rate. It Was More Like 25%”，作者是技術(shù)編輯帕特里克·塔克。文章認(rèn)為，正確數(shù)據(jù)太少可能會(huì)導(dǎo)致目標(biāo)算法偏離。但要嘗試告訴算法。

如果五角大樓要依靠算法和人工智能（AI），就必須解決“脆弱的人工智能”問題。一位空軍高級(jí)官員最近說明了還要走多遠(yuǎn)的路。

負(fù)責(zé)情報(bào)、監(jiān)視和偵察的助理副參謀長丹尼爾·辛普森少將表示，在最近的一次測(cè)試中，當(dāng)所有條件都完美時(shí)，一個(gè)實(shí)驗(yàn)性的目標(biāo)識(shí)別程序表現(xiàn)良好，但一個(gè)微妙的調(diào)整使其性能急劇下降。最初，人工智能是從一個(gè)傳感器輸入數(shù)據(jù)的，該傳感器以傾斜的角度尋找一枚地對(duì)地導(dǎo)彈。然后，它從另一個(gè)傳感器輸入數(shù)據(jù)，該傳感器以近垂直角度尋找多枚導(dǎo)彈。結(jié)果，"真是令人驚訝：算法表現(xiàn)不佳。它實(shí)際上只在大約25%的時(shí)間內(nèi)是準(zhǔn)確的。"

這是有時(shí)被稱為人工智能脆弱性的一個(gè)例子，根據(jù)研究人員和前海軍飛行員米西·卡明斯在2020年的一份報(bào)告，"當(dāng)任何算法都無法概括或適應(yīng)一組范圍較窄的假設(shè)之外的條件時(shí)，就會(huì)發(fā)生這種情況"。卡明斯說，當(dāng)用于訓(xùn)練算法的數(shù)據(jù)由來自獨(dú)特有利位置的一種類型的圖像或傳感器數(shù)據(jù)過多，而來自其它優(yōu)勢(shì)、距離或條件的數(shù)據(jù)不足時(shí)，人工智能模型就會(huì)變得脆弱。

在無人駕駛汽車實(shí)驗(yàn)等情況下，研究人員可以收集更多的數(shù)據(jù)用于訓(xùn)練。但在軍事環(huán)境下，這可能非常困難，因?yàn)槟抢锟赡苡写罅肯嗤愋偷臄?shù)據(jù)——例如頭頂衛(wèi)星或無人機(jī)圖像，但很少有其它類型的數(shù)據(jù)，因?yàn)樗趹?zhàn)場(chǎng)上還沒用過。

例如，與為自動(dòng)駕駛汽車訓(xùn)練對(duì)象識(shí)別算法的公司相比，軍方在嘗試訓(xùn)練某些物體識(shí)別任務(wù)的算法時(shí)面臨著另一個(gè)障礙：從多個(gè)角度和多個(gè)條件下獲取行人和路燈的圖片比獲取中國或俄羅斯地對(duì)空導(dǎo)彈的圖片更容易。

越來越多的研究人員開始依賴所謂的"合成訓(xùn)練數(shù)據(jù)"，在軍事瞄準(zhǔn)軟件的情況下，這些數(shù)據(jù)將是從真實(shí)數(shù)據(jù)人工生成的圖片或視頻，以訓(xùn)練算法如何識(shí)別真實(shí)的東西。

但辛普森表示，算法的低準(zhǔn)確率并不是練習(xí)中最令人擔(dān)憂的部分。雖然算法只有25%的時(shí)間是正確的，但他說，"由于確信它在90%的時(shí)間內(nèi)是正確的，所以錯(cuò)在了自信。這不是算法的錯(cuò)。這是因?yàn)槲覀兿蛩峁┝隋e(cuò)誤的訓(xùn)練數(shù)據(jù)。

辛普森說，這樣的結(jié)果并不意味著空軍應(yīng)該停止追求利用人工智能進(jìn)行物體和目標(biāo)探測(cè)。但它確實(shí)提醒人們，人工智能在數(shù)據(jù)欺騙形式的對(duì)抗行動(dòng)面前是多么脆弱。它還表明，人工智能和人類一樣，可能會(huì)遭受過度自信的困擾。