近日，2022 IEEE游戲大會（IEEE Conference on Games, CoG） 足球AI競賽正式公布了比賽結(jié)果。網(wǎng)易互娛AI Lab以1292.28分和1491.48分的成績分別包攬了5v5和11v11兩個賽道的冠軍，特別是在11v11賽道中，以高于第二名267分的優(yōu)勢取得了斷崖式領(lǐng)先。這是網(wǎng)易互娛AI Lab繼去年滿分奪冠IEEE游戲大會的格斗游戲AI競賽后，再獲該大會游戲AI類競賽的冠軍，展現(xiàn)了其在游戲AI方面的技術(shù)硬實力，也彰顯了實驗室在提供更精彩的互娛體驗方面所做出的不懈努力。

　　IEEE游戲大會是人工智能方向游戲領(lǐng)域的國際頂會，匯聚了來自全球游戲領(lǐng)域?qū)W術(shù)界和工業(yè)界的領(lǐng)先研究人員和開發(fā)人員，共同探討游戲技術(shù)與設(shè)計相關(guān)的前沿話題和未來趨勢。本次IEEE游戲大會下設(shè)的足球AI競賽共分為兩個賽道：5v5和11v11賽道。其中，5v5賽道需要訓(xùn)練除了守門員之外的4名隊員的模型，而11v11賽道則需要訓(xùn)練包含守門員在內(nèi)的全部11名隊員。兩個賽道均屬于多智能體訓(xùn)練任務(wù)，這已經(jīng)大大加大了訓(xùn)練的難度；其次，足球游戲策略以其復(fù)雜性、多樣性和高難度，一直是長期困擾世界頂尖AI團(tuán)隊的研究難題，多智能體不僅需要掌握傳球和防守等復(fù)雜概念，還需要在短期控制和高水平策略之間取得平衡，例如怎樣克服對手的防守以成功進(jìn)球等，這些都對高強(qiáng)度AI的研發(fā)提出了巨大的挑戰(zhàn)。

11v11比賽畫面

　　網(wǎng)易互娛AI Lab創(chuàng)新性地提出了一種基于強(qiáng)化學(xué)習(xí)和多樣性模型池的高強(qiáng)度、策略豐富的AI訓(xùn)練框架，該框架具有強(qiáng)度高、泛化性強(qiáng)和策略豐富的特點。相比大部分目前已知的其他模型，用該框架訓(xùn)練的模型能夠持續(xù)穩(wěn)定提升自身性能，不會陷入RL領(lǐng)域中經(jīng)典的“非傳遞性”問題，即發(fā)生模型策略退化的現(xiàn)象，因此也就更不易被玩家找到弱點。此外，該模型的策略豐富度也顯著超出此前其他已知的所有模型，例如，模型表現(xiàn)出豐富的進(jìn)攻方式，除了經(jīng)典的全隊進(jìn)攻、邊路進(jìn)攻、中路進(jìn)攻和快速防守反擊外，還掌握了利用游戲引擎的特點形成的特定進(jìn)攻戰(zhàn)術(shù)，因此能夠擊敗各類具有不同策略的對手。

圖：訓(xùn)練框架

　　在競賽中，該訓(xùn)練框架不僅提升了模型的泛化性、強(qiáng)度和策略豐富度，更提升了自身的多樣性，由此可以幫助獲得大量、可滿足實際生產(chǎn)應(yīng)用的AI。例如，根據(jù)應(yīng)用場景和需求不同，可在不同訓(xùn)練階段挑選得到具備不同難度的AI，如在訓(xùn)練初期可挑選出難度適中、具備擬人性的游戲AI，用于冷啟動匹配、補(bǔ)位、陪玩等場景，優(yōu)化游戲體驗；訓(xùn)練后期還可獲得具有挑戰(zhàn)性的強(qiáng)大游戲AI，為進(jìn)一步邁向探索通用型人工智能奠定基礎(chǔ)。網(wǎng)易互娛AI Lab一直將游戲AI作為研究的核心領(lǐng)域之一，并不斷突破AI落地的難題，致力于將AI研究成果成功落地于實際生產(chǎn)應(yīng)用中，以在未來為大家創(chuàng)造更精彩的互動娛樂體驗。

   【免責(zé)聲明】本文僅代表第三方觀點，不代表和訊網(wǎng)立場。投資者據(jù)此操作，風(fēng)險請自擔(dān)。