國(guó)內(nèi)首創(chuàng)！伏羲×雷火再發(fā)力，AI加盟任務(wù)回歸測(cè)試

伏羲實(shí)驗(yàn)室一直以來(lái)致力于用人工智能點(diǎn)亮游戲未來(lái)，而這次，伏羲又將目光投向游戲測(cè)試領(lǐng)域，全力打造“智能任務(wù)回歸測(cè)試”！

此次伏羲實(shí)驗(yàn)室與雷火測(cè)試中心合作，為游戲測(cè)試環(huán)節(jié)節(jié)省了大量的人力、財(cái)力、物力：減少重復(fù)勞動(dòng)，提高測(cè)試效率，QA得到了一定程度的解放。在機(jī)器與技術(shù)的幫助下，人得以更高效地做更有意義的事情——這是伏羲一直以來(lái)的初衷與愿景。

你能想象在游戲測(cè)試上花費(fèi)的時(shí)間已經(jīng)可以從“周/天”的單位直接縮減為“小時(shí)”嗎？

你能想象游戲測(cè)試工程師(QA）只需用3周時(shí)間就能完成一款mmorpg游戲近400個(gè)任務(wù)的接入嗎？

你能想象AI能幫助每天定時(shí)對(duì)3個(gè)build版本進(jìn)行全天候回歸，不放過(guò)任何一個(gè)可能的問(wèn)題嗎？

是的，伏羲團(tuán)隊(duì)努力的結(jié)果將對(duì)游戲測(cè)試行業(yè)帶來(lái)不小的增益。在“精簡(jiǎn)”與“高效”的理念下，團(tuán)隊(duì)將任務(wù)回歸測(cè)試建模成序列決策問(wèn)題，從而可以借用強(qiáng)化學(xué)習(xí)等AI技術(shù)來(lái)解決相關(guān)問(wèn)題。通俗來(lái)說(shuō)，此項(xiàng)創(chuàng)新最直接的效果便是今后在任務(wù)測(cè)試上只需要花費(fèi)一頓飯的時(shí)間，AI就能幫助QA完成所需工作。

通過(guò)伏羲×雷火的此番新嘗試，智能任務(wù)回歸測(cè)試的四大新優(yōu)勢(shì)得以凸顯：

1、效率高，節(jié)省時(shí)間和人力

2、任務(wù)覆蓋率高

3、任務(wù)變更、新增自動(dòng)覆蓋

4、易集成到現(xiàn)有的任務(wù)測(cè)試框架

總而言之，對(duì)比腳本任務(wù)回歸，伏羲實(shí)驗(yàn)室成功實(shí)現(xiàn)了大幅提升任務(wù)回歸效率的最初愿景，將回歸所需時(shí)間進(jìn)行了縮減，真正做到為QA減負(fù)。

未來(lái)已來(lái)。讓我們?cè)贏I技術(shù)風(fēng)起云涌的浪潮中，共看伏羲如何抓準(zhǔn)痛點(diǎn)、精準(zhǔn)創(chuàng)新，推動(dòng)游戲測(cè)試走向新的進(jìn)程！

那么，接下來(lái)讓我們具體了解伏羲如何打造“智能任務(wù)回歸測(cè)試”。

一、創(chuàng)意鋪墊與來(lái)源

近年來(lái)，AI技術(shù)浪潮在游戲領(lǐng)域已經(jīng)大有表現(xiàn)，伏羲實(shí)驗(yàn)室也緊跟時(shí)代熱點(diǎn)和未來(lái)導(dǎo)向，致力于用人工智能點(diǎn)亮游戲未來(lái)。

在此之前，伏羲實(shí)驗(yàn)室已陸續(xù)推出伏羲強(qiáng)化學(xué)習(xí)AI、伏羲智能捏臉、伏羲游戲反外掛等，AI加盟游戲領(lǐng)域的效果好評(píng)如潮。既然如此，AI是否又可應(yīng)用在游戲測(cè)試領(lǐng)域，幫助解決游戲測(cè)試固有的繁雜難題呢？

基于此問(wèn)題，大家可以先回顧現(xiàn)有的AI技術(shù)自己玩游戲的實(shí)例：下圍棋的Alpha Go、玩星際的AlphaStar、擼Dota的OpenAI Five，這些技術(shù)都展現(xiàn)出了強(qiáng)大的操作水平、甚至超過(guò)真人頂尖玩家水平。那么相同的，如果能將這些“自動(dòng)玩游戲”的AI技術(shù)應(yīng)用到游戲測(cè)試中，就有可能幫助QA完成一些日常測(cè)試。

——為此，伏羲實(shí)驗(yàn)室聯(lián)合雷火測(cè)試中心分析整理了目前游戲測(cè)試過(guò)程中的痛點(diǎn)并對(duì)需求進(jìn)行分類，目前正嘗試將AI技術(shù)應(yīng)用在回歸測(cè)試、角色平衡性測(cè)試以及覆蓋性測(cè)試等方面，并不斷完善智能測(cè)試技術(shù)方案和框架系統(tǒng)。

在任務(wù)回歸測(cè)試改進(jìn)上，伏羲×雷火大獲成功，國(guó)內(nèi)首創(chuàng)AI技術(shù)助力測(cè)試智能化，高效解決了“任務(wù)數(shù)目太多導(dǎo)致任務(wù)時(shí)長(zhǎng)很長(zhǎng)，人工回歸工作量太大”和“游戲版本迭代快，每一個(gè)版本迭代都需要人工回歸會(huì)加重工作量”的問(wèn)題！

二、創(chuàng)意落地任務(wù)回歸測(cè)試

簡(jiǎn)單來(lái)講，游戲測(cè)試工作就是QA在游戲開(kāi)發(fā)過(guò)程中，對(duì)每一個(gè)build版本進(jìn)行嚴(yán)格測(cè)試和試玩，找到潛在的bug并及時(shí)進(jìn)行修補(bǔ)，確保游戲順利開(kāi)發(fā)、保證游戲質(zhì)量的過(guò)程。

游戲測(cè)試的重要程度不言而喻，如果任由bug存在在游戲中，那么等游戲上線后，任何一個(gè)潛藏的bug都可能會(huì)被玩家利用，并不斷傳播無(wú)限放大。這對(duì)游戲運(yùn)營(yíng)將造成巨大的損失，也會(huì)讓游戲中的玩家倍感掃興，失去游戲體驗(yàn)。

經(jīng)過(guò)伏羲和雷火測(cè)試中心的溝通與合作，發(fā)現(xiàn)如下的潛在測(cè)試場(chǎng)景可以加入AI以提升效果：回歸測(cè)試、平衡性測(cè)試和覆蓋性測(cè)試。其中，回歸測(cè)試又可細(xì)分為任務(wù)回歸測(cè)試和戰(zhàn)斗場(chǎng)景回歸測(cè)試。而我們本次嘗試也主要落腳在任務(wù)回歸測(cè)試。

·問(wèn)：那么為什么說(shuō)任務(wù)回歸測(cè)試需要利用AI技術(shù)來(lái)幫助實(shí)現(xiàn)智能化呢？

·答：因?yàn)檫@和任務(wù)回歸測(cè)試本身的繁雜性有關(guān)——

在MMORPG游戲中，劇情任務(wù)系統(tǒng)是它的基石。劇情任務(wù)經(jīng)常要求玩家在游戲中跑來(lái)跑去、尋找各種NPC，完成各種任務(wù)獲取經(jīng)驗(yàn)或者金錢。此外，大多MMORPG游戲除了會(huì)有主線任務(wù)，還有支線任務(wù)，甚至還有隱藏任務(wù)或者奇遇任務(wù)等類型。

而任務(wù)回歸測(cè)試就是指游戲版本發(fā)生變化后，QA需要對(duì)游戲內(nèi)所有任務(wù)重新玩一遍，以保證每個(gè)任務(wù)還是能夠按照設(shè)計(jì)的流程在規(guī)定的時(shí)間內(nèi)完成。一旦某個(gè)任務(wù)卡住就說(shuō)明這個(gè)任務(wù)受到可能存在的bug的影響，上線之后同樣也會(huì)導(dǎo)致玩家無(wú)法繼續(xù)游戲。

對(duì)于當(dāng)前游戲測(cè)試行業(yè)來(lái)說(shuō)，如果游戲世界中紛繁的任務(wù)都需要QA手動(dòng)測(cè)試，那基本是天方夜譚，一是因?yàn)槿蝿?wù)數(shù)目太多導(dǎo)致任務(wù)時(shí)間長(zhǎng)，人工回歸工作量太大；二是因?yàn)橛螒虬姹镜?，每一個(gè)版本迭代都需要人工回歸更會(huì)加重工作量。

所以大多數(shù)游戲項(xiàng)目都會(huì)搭建自動(dòng)化回歸測(cè)試，也就是寫好每個(gè)任務(wù)的執(zhí)行腳本，然后定期執(zhí)行對(duì)應(yīng)的腳本。然而，這還不夠。在這種方法下，人力投入依舊是巨大的，因?yàn)樗枰槍?duì)每一個(gè)任務(wù)單獨(dú)編寫測(cè)試腳本，而且任務(wù)發(fā)生變化之后需要更新對(duì)應(yīng)的腳本。

伏羲實(shí)驗(yàn)室正是看到了此間的需求與痛點(diǎn)，于是全力打造更好的解決方案——智能任務(wù)回歸測(cè)試！

三、智能任務(wù)回歸測(cè)試詳述

伏羲實(shí)驗(yàn)室再發(fā)力，首創(chuàng)AI交互游戲測(cè)試：AI算法充當(dāng)Tester，它通過(guò)和游戲不斷交互，獲取游戲狀態(tài)、發(fā)送游戲操作，以完成劇情任務(wù)。

這個(gè)說(shuō)法是不是非常熟悉？的確，其實(shí)這就是仿照人類玩家“玩游戲”的過(guò)程完成的建模。這樣的建模方式十分通用，只要設(shè)計(jì)出AI算法能夠以這樣的方式完成劇情任務(wù)，那么這個(gè)AI算法就有可能可以舉一反三地完成各種任務(wù)，而不需要針對(duì)每個(gè)任務(wù)寫回歸測(cè)試腳本了。

當(dāng)然，雖然這看起來(lái)簡(jiǎn)單，但是很多細(xì)節(jié)不容忽視。首先，伏羲團(tuán)隊(duì)需要對(duì)具體的“游戲狀態(tài)”和“動(dòng)作”進(jìn)行定義：

當(dāng)然，雖然這看起來(lái)簡(jiǎn)單，但是很多細(xì)節(jié)不容忽視。首先，伏羲團(tuán)隊(duì)需要對(duì)具體的“游戲狀態(tài)”和“動(dòng)作”進(jìn)行定義：

游戲狀態(tài)：游戲狀態(tài)的定義依然仿造真人玩家玩游戲，它包括當(dāng)前界面上能看到的信息，如下圖所示：

動(dòng)作：動(dòng)作的定義和真人玩家玩游戲有所不同，它不是通過(guò)鼠標(biāo)鍵盤來(lái)操作游戲，而是通過(guò)游戲提供的內(nèi)部接口實(shí)現(xiàn)。

定義好狀態(tài)和動(dòng)作之后，在AI算法的眼里劇情任務(wù)就已經(jīng)不再是一個(gè)MMORPG玩法，而是一個(gè)五子棋游戲，甚至更簡(jiǎn)單地可以當(dāng)做一個(gè)迷宮游戲。

AI需要不斷嘗試搜索找到一個(gè)操作序列能夠完成游戲劇情任務(wù)，就像找到一條路徑從迷宮的起點(diǎn)到達(dá)終點(diǎn)。對(duì)于這樣的游戲，大家都可以通過(guò)不斷擴(kuò)展動(dòng)作選擇建立一個(gè)類似五子棋游戲的搜索樹(shù)。

當(dāng)然對(duì)于絕大多數(shù)劇情任務(wù)，其對(duì)應(yīng)的搜索樹(shù)都沒(méi)有上圖那么復(fù)雜。訓(xùn)練算法隨機(jī)選擇在當(dāng)前狀態(tài)下可以執(zhí)行的動(dòng)作，然后一旦發(fā)現(xiàn)在某次嘗試之后任務(wù)已被完成，那接下來(lái)基于所收集的樣本數(shù)據(jù)就可以找到到達(dá)終點(diǎn)的最短路徑（對(duì)應(yīng)可以完成任務(wù)的操作序列）。一旦完成訓(xùn)練找到所有劇情任務(wù)對(duì)應(yīng)的操作序列，后續(xù)回歸測(cè)試的過(guò)程就會(huì)十分簡(jiǎn)單，只需要不斷的重復(fù)這個(gè)操作系列。

總而言之，到此為止，AI算法可以說(shuō)是克服了腳本自動(dòng)化回歸測(cè)試的不足，任務(wù)調(diào)整或新增之后也不需要重新修改或編寫腳本了，只需要讓搜索算法重新構(gòu)建任務(wù)圖并找到完成新任務(wù)的操作序列。

四、智能任務(wù)回歸測(cè)試效果

當(dāng)發(fā)現(xiàn)AI算法已經(jīng)能夠完成絕大部分劇情任務(wù)之后，伏羲團(tuán)隊(duì)便迫不及待地把算法應(yīng)用到真實(shí)的游戲場(chǎng)景中，如下圖所示整個(gè)方案可以分為兩個(gè)階段：訓(xùn)練階段負(fù)責(zé)運(yùn)行訓(xùn)練算法找到完成任務(wù)的操作序列；回歸階段只負(fù)責(zé)操作序列回放，同時(shí)游戲端根據(jù)回歸情況生成測(cè)試分析報(bào)告。

通過(guò)AI加盟任務(wù)回歸測(cè)試，產(chǎn)品在具體游戲中“大展身手”：

任務(wù)回歸服務(wù)已覆蓋《逆水寒》的290個(gè)主線任務(wù)和220多個(gè)支線任務(wù)，每天定時(shí)對(duì)3個(gè)build版本進(jìn)行全天候回歸，不放過(guò)任何一個(gè)可能的問(wèn)題。目前已幫項(xiàng)目組揪出10余個(gè)深度隱藏的bug，其中還在“青云寨”新劇情任務(wù)上線前發(fā)現(xiàn)了一些重要的bug，避免游戲帶bug上線。

下面的視頻展示了AI算法完成《逆水寒》劇情任務(wù)的過(guò)程，動(dòng)圖右邊的動(dòng)作序列是AI自行搜索到地可完成該任務(wù)的動(dòng)作序列。

在某款mmorpg游戲上只用了3周時(shí)間就完成了接近400個(gè)任務(wù)的接入，并且隨著接口的完善后續(xù)接入速度也會(huì)越來(lái)越快，甚至無(wú)需修改直接接入。

同時(shí)，伏羲通過(guò)不斷總結(jié)踩坑的經(jīng)驗(yàn)優(yōu)化方案，使得方案比較容易推廣到其它MMORPG游戲，基本解決每一款游戲的劇情任務(wù)不完全一樣，導(dǎo)致動(dòng)作集合和狀態(tài)集合都會(huì)有所不同的問(wèn)題。當(dāng)然，這套方案也是需要游戲測(cè)試團(tuán)隊(duì)一起來(lái)適配原有的自動(dòng)化測(cè)試框架的。

五、后續(xù)期待

第二點(diǎn)中提到，伏羲團(tuán)隊(duì)目前對(duì)游戲測(cè)試需求進(jìn)行了一些劃分：回歸測(cè)試，角色平衡性測(cè)試，覆蓋性測(cè)試。雖然目前團(tuán)隊(duì)在任務(wù)回歸測(cè)試有一些進(jìn)展，但這只是一個(gè)開(kāi)始。

今后伏羲實(shí)驗(yàn)室將會(huì)不懈地針對(duì)這些問(wèn)題和場(chǎng)景進(jìn)行嘗試，希望未來(lái)能夠構(gòu)建更加智能的測(cè)試系統(tǒng)，讓AI技術(shù)賦能游戲測(cè)試，敬請(qǐng)期待后續(xù)工作！

網(wǎng)易伏羲人工智能實(shí)驗(yàn)室http://fuxi.163.com/