如何測試人工智能軟件？

天天向上HotRun 2016-03-13

展開全文

這兩天圍棋人機大戰(zhàn)——阿法狗（阿爾法狗，AlphaGo）和李世石（暫時俗稱：小李子）之戰(zhàn)吸引了不少眼球，測試人員也不例外，之前就看到一篇文章，測試人員將李世石稱為“谷歌（Google）高級軟件測試工程師”。但也看到另外一篇文章，其觀點是：李世石是一個好用戶，但不是一個合格的測試工程師。然后列舉了一個合格的測試工程師應(yīng)該做哪些異常操作、異常輸入等等，還給大家普及了測試知識。實際上，這篇文章差矣！作者可能不理解人工智能（Artificial Intelligent，AI）軟件，或者說，不知道如何對AI軟件、甚至像搜索引擎、圖像識別軟件、語音識別軟件、游戲軟件等有效的測試方法。如果到這時候，還要做這樣的測試，如何和世界圍棋冠軍比賽？而且是向全世界直播的。

作為AI軟件的一個實例——阿法狗，小李子是最合格的測試工程師。如果阿法狗贏了小李子（實際到目前是完勝3:0），說明這款軟件是極其成功的，滿足谷歌（Google）公司的期望，完成了其高質(zhì)量的檢驗。如果阿法狗輸了，說明還有改進的空間，質(zhì)量有待提高，測試也發(fā)揮了作用，但也不能說明這款軟件質(zhì)量不合格，只是沒有達到一流水平，因為之前得到過相對較低水平的檢驗：即和歐洲冠軍的比賽，阿法狗5:0完勝人類專業(yè)棋手。

所以，對于AI軟件的測試，實際有一個時間維度，AI軟件隨著時間（不斷學(xué)習(xí)）前移，其能力必須（快速）增強，和人類一樣，能夠不斷成長，這才是一款真正的AI軟件。這里以阿法狗為例，如下圖所示，阿法狗的確做到了。

AI軟件最初的測試，就是看它有沒有學(xué)習(xí)能力，本質(zhì)上，就是算法的驗證，即對啟發(fā)式算法（heuristic algorithm）、啟發(fā)式搜索算法（heuristic searchalgorithm）、元搜索算法（Meta-heuristicalgorithm）、強化學(xué)習(xí)和深度強化學(xué)習(xí)或具體的算法（如遺傳算法、模擬退火算法、神經(jīng)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、禁忌搜索、演化算法、蟻群算法）等中某些算法或算法的組合進行驗證。算法的驗證，主要是通過實驗進行（雖然也可以通過數(shù)學(xué)、模型等演化進行證明），借助大量數(shù)據(jù)進行普適性驗證。例如，比較有名的圖像識別算法驗證，就借助ImageNet提供的大量圖片進行驗證。

說起這個，還有一個故事：

2015年5月份，百度宣稱其在ImageNet測試中取得了全球最好結(jié)果，其圖像識別錯誤率僅為4.58%，而微軟是4.94%，谷歌為4.8%。在這種測試中，人類辨識ImageNet照片的錯誤率為5%左右。

　可是，周二，ImageNet的計算機科學(xué)家發(fā)表聲明指出，百度在測試中存在違規(guī)行為，百度采用了密集測試的方法以提高成績。按照規(guī)定，ImageNet只允許參與者每周向測試服務(wù)器提交2次測試結(jié)果?？墒窃?/span>3月份的5天時間內(nèi)，百度卻提交了40次結(jié)果。ImageNet表示，百度還使用了30個不同的賬號，在過去6個月中提交了約200次測試結(jié)果。

在ImageNet測試中，人工智能需要掃描擁有100多萬張圖片的數(shù)據(jù)庫，然后將它們分為1000個不同類別。大多數(shù)研究人員通常使用數(shù)據(jù)庫中的部分圖片，對軟件進行圖像識別測試。而通過密集測試，百度工程師可以通過調(diào)整他們的軟件熟悉這些圖片的信息，從而獲得優(yōu)勢。

……

百度拒絕回答相關(guān)問題，但在ImageNet網(wǎng)站發(fā)表聲明稱，百度科學(xué)家吳韌已經(jīng)為他所謂的“失誤”道歉。

（來源：http://tech.qq.com/a/20150604/006269.htm ）

AI軟件的測試，更多的是靠“試驗”進行驗證，這和“Test”倒是更吻合，Test本質(zhì)上就是“樣本性的試驗驗證活動”。AI軟件的測試還依賴大數(shù)據(jù)，基于大數(shù)據(jù)自動產(chǎn)生、分析、呈現(xiàn)等技術(shù)，更有效地驗證AI軟件的合理性。

比賽是對AI軟件的測試的最有效手段之一，雖然代價比較大。除了時間維度（縱向）外，還可以從其它維度進行測試或驗證，如橫向——同時和不同能力的人類棋手進行比賽，人類棋手水平越低，阿法狗花時越少；或者做讓子測試，人類棋手水平越低，阿法狗能夠讓子越多。

也可以對“算法深度”這個維度進行測試，算法深度越深，阿法狗的能力越強（雖然會更耗時），而且阿法狗能夠根據(jù)剩余時間調(diào)整算法深度。昨天比賽，不少專家就期望：小李子能再堅持一下，讓阿法狗耗時用完，進入讀秒階段，情形又會怎樣？阿法狗會不會算不過來，走出各種敗招？

這里只是討論了AI軟件不同于傳統(tǒng)軟件的某些測試特點。當(dāng)然，某些傳統(tǒng)的測試方法也會在AI軟件測試中用到，如在代碼級的單元測試就沒什么區(qū)別，一些性能測試、可伸縮性測試、安全性測試也是要進行的。

當(dāng)然，AI軟件測試沒那么容易，這里只是通俗易懂地解釋如何對AI軟件進行測試。實際工作中，AI軟件的前期測試還是很困難的。例如，為了測試Numenta（工作模式更接近人的大腦的AI軟件），IBM資深研究員Winfried Wilcke帶領(lǐng)著一百人的團隊來測試它的算法。如果我們面對俄羅斯的控制機器人集群的智能軟件包Unicum，又如何測試呢？它可是說是“機器人之上的機器人”，可以獨立分配集群內(nèi)部的機器人角色、確定集群中的核心、替換脫離的單位，還會自動占據(jù)有利位置，搜尋目標(biāo)，并在自動模式下向操縱員申請作戰(zhàn)與摧毀目標(biāo)的許可。