本文首次发表在“腾讯梅田工作室集团”智湖机构号上。游戏葡萄已经被授权复制。
人工智能在游戏领域并不是什么新鲜事。人工智能几乎存在于每一个重要的游戏中。大多数早期的人工智能游戏都是通过人工规则实现的。人工智能是近几年才进入深度学习领域的。
从技术角度来看，这款游戏也是测试人工智能能力的“试金石”。1997年，IBM的国际象棋超级计算机深蓝击败了世界冠军加里·卡斯帕罗夫。从那以后，“世界上最复杂的国际象棋游戏”围棋，成了人工智能的下一个挑战
2年，016年，谷歌的深度思维开发了围棋程序，打败了韩国著名棋手李世石。这是以深度学习为代表的人工智能的一个重要里程碑。2017年，AlphaGo打败了世界上第一位棋手柯杰。从那以后，这个人工智能就没有人类对手了。
AlphaGo与李世石
的下一个试金石在哪里？业界认为复杂战略游戏可能成为下一个里程碑与象棋和围棋相比，复杂的战略游戏将给计算机带来更多的挑战。具体的挑战包括:
1。地图是复杂且不断变化的，信息是不完整的(人工智能与人类视觉一致)，并且没有最优策略；
2。巨大的操作空间以5v5 MOBA游戏为例，10名参与者在战略规划、英雄选择、技能运用、路径探索和团队合作等方面都要面对大量不间断的实时选择，这带来了极其复杂的局面。据估计，有多达10000次幂运算的可能性，而宇宙中的原子总数只有10 80次幂[1]；
3。需要长期规划。所有战略选择都必须以最终胜利为基础。
如果人工智能能像人类一样在如此复杂的环境中学会感知、分析、理解、推理、决策和实时行动，人工智能可能在多变复杂的现实环境中发挥更大的作用[1]
，也就是说，人工智能的目标不是在游戏中打败人类，而是通过越来越复杂的游戏训练来解决现实生活中的问题。
目前，世界顶尖的科技公司都在推广这种研究。2019年，由人工智能非营利组织开放人工智能开发的开放人工智能五人组在DOTA 2中击败了TI18冠军团队OG。
“dota 2”
同年，DeepMind宣布其游戏AIAlphaStar已经达到了《星际争霸2》的大师级水平，拥有神族、人族和虫族种族，击败了99.8%的人类对手
《星际争霸2》
2 017，腾讯的人工智能实验室和梅田工作室集团的游戏《王者的荣耀》推出了人工智能联合研发的战略人工智能洞察，寓意“卓越洞察”[1]2019年，珏武在职业球员赛区队的5v5比赛中胜出，标志着珏武已经达到了“王者之荣”电子大赛[1]的职业水平
师联队失利后，绝武氏的部队线还没有到达，而且还有一半以上的血量留在了较低的高地塔里。觉武毅然选择了四人轮流攻打城楼，并强行拆除了城楼，没有带兵。*注:在比赛结束时，在师队被摧毁后，绝物没有直接推水晶，但在计算了总收入后，他选择先推最后一座高地塔，然后再推水晶，直到[2]获胜在
的同一时期，巨舞版本1v1的SUPEX团队在2100多项顶级业余体验测试[2]中赢得了99.8%
未来游戏人工智能将如何发展？为了回答这个问题，我们邀请了腾讯人工智能实验室的一位专家和三位玩游戏的美女。我们让他们谈论他们最喜欢的NPC，以及他们对人工智能未来的看法
两场给我留下深刻印象的NPC比赛:
1《生化危机4》中的阿什利当她站在高处时，利昂将他的武器对准她的裙子底部，她会闭上腿，用双手盖住裙子，微微弯曲膝盖，假装矜持地说:“嘿，你在看什么？”当然，她也会重复这句话(抱歉)
《生化危机4》
2《金属齿轮2》士兵因为这是一个动作潜行游戏，逃避士兵的巡逻是完成任务的最大乐趣。例如，如果你故意放一本美容杂志来吸引士兵的注意，蛇可以用一个纸板箱蒙混过关。当然，这些士兵大多是简单和诚实的，有固定的规则，没有其他变化。
"金属齿轮2 "两个NPC以上的人工智能
是基于传统的基于规则，这通常是一个有限状态机或行为树。该方法具有简单直接、缺点明显、缺乏拟人化、缺乏行为多样性或能力不足等优点。注:早期游戏中的人工智能大多是通过人工规则实现的，其中包括有限状态机和行为树[3]
有限状态机的方法是定义有限行为状态，通过判断条件触发不同的状态转换。这种方法的优点是设计简单，易于实现，缺点是随着状态的增加而迅速复杂化[3]
行为树也是游戏中常用的方法，它通过穷举所有行为作为节点和条件驱动的逐级遍历来确定当前行为这种方法的优点是逻辑清晰，易于扩展，缺点是难以适应复杂的行为，并且很难实现拟人化[3]
"
与传统人工智能相比，在引入深度学习和强化学习方法后，基于模型学习的人工智能在行为多样性和完成任务的能力方面有了质的提高。例如，阿尔法围棋在围棋方面超过了人类。腾讯的洞察力在王者的荣耀中达到了专业水平，并且肯定会在穿越火线:枪战之王中寻找人工智能作为PVE模式。
"
注:最近的人工智能游戏研究大多基于深度学习方法，主要包括两类，一类是监督学习或模仿学习，另一类是强化学习[3]
监督学习基于大量标记的训练数据来导出行为预测函数这种方法的优点是可以模拟不同层次的目标行为，实现良好的拟人化。缺点是它太依赖数据，尤其是标签数据的质量[3]
强化学习从构建奖惩激励环境的角度优化人工智能行为逻辑这种方法的优点是它不依赖于现有的数据，可以探索新的策略，甚至超越了目前人类的认知[3]
以《王者的荣耀》游戏《艾绝句》为例，绝句版达到了《王者的荣耀》电子大赛的专业水平，建立了基于“观察-行动-奖励”的深度强化学习模式。没有人类的数据，从白板开始，人工智能就被允许对抗自己。一天的训练强度高达440年[1]
人工智能探索从0到1的成功经验，努力学习，不仅学习常见的游戏知识，如如何站立，发挥野生，协助保护和避免受伤更令人惊讶的是，人工智能还探索了一种完全不同于传统人类实践的全新策略。团队还创建了一个模型模型来提高培训效率，优化沟通效率，提高人工智能的团队合作能力，并使用零和奖惩机制使人工智能最大化团队利益，发挥其决定性作用，放弃[1]
"
人们认为，人工智能+游戏需要具备以下三种能力才能更深入地结合起来:
1。拟人化:顾名思义，人工智能需要像人一样，也就是说，它可以在不同的情况下做出不同的动作。这种反应符合人类的逻辑，具有多样性和随机性腾讯对《王者的荣耀》有独特的理解，其在《穿越火线:枪战之王》中寻找PVE的尝试，通过模仿学习、结合人类玩家数据和强化学习方法取得了良好的效果。
“穿越火线:枪战之王”在PVE模式“电子竞技传奇”中，人工智能敌人的行为模式与人类玩家非常接近——他们不仅知道如何寻找掩体，还能合理地跳跃和蹲下躲避火线，有清晰合理的战术选择，甚至还有小身姿、两级跳跃、杀人后持刀等作战细节[4]
2。能力分级:目标不是强调人工智能在游戏中盲目超越人类水平。在玩游戏的过程中，人工智能在水平上是平等的，或者说目标是根据他们的喜好来匹配他们的能力，并且具有更多的可玩性。例如，在战术竞技游戏中，传统人工智能只能“发送快递”。如果不同能力的人工智能可以根据玩家的水平定制，游戏肯定会更有趣。基于强化学习和模仿学习，人工智能具有不同水平甚至风格的能力是可控的。
3。有常识和推理:例如，知道门可以打开，窗户可以爬出去，过河可以通过游泳或过桥这些常识和推理能力常识和推理知识，人工智能技术仍处于发展阶段
最后，我想说我的理想游戏是江湖，就像西方世界对美国，武术对中国一样。在这个江湖上，人工智能可以学到不同的行为准则(政策)，他们各自的职责是合理的和多样的，这肯定会带来无尽的游戏性，就像现实世界一样。在
《西部世界》和
《最后的幸存者》中，艾莉有时会掏出枪来战斗，但当受到威胁时，她可能会犹豫，最后扣动扳机来救她的命。在这一刻，我觉得她就像一个真实的人。
“最后的幸存者”
通用人工智能的目标是使机器能够像人类一样思考或行动，而游戏人工智能只希望玩家感觉NPC像人类一样行动或思考不同之处在于游戏是围绕玩家构建的。对于游戏制造商来说，人工智能是否聪明并不重要。对玩家来说，获得更好的游戏体验是最重要的。未来游戏
的人工智能可以根据玩家的行为给出反馈，记住玩家以前做过什么，可以与周围环境互动，甚至有自己的时间表。NPC有自己的活动路线，他们有自己的生活区。玩家通过视觉和听觉了解游戏世界。人工智能的行为只有在被看到或听到时才有效。能给玩家出色视觉体验的人工智能是好的人工智能。对于不同的类别，人工智能游戏可能呈现不同的游戏方式
在PVP类别中，我们可以看到基于强化学习训练的强大人工智能，如王者的荣耀启蒙、围棋的阿尔法围棋、星际争霸2的阿尔法星等。然而，如果玩家一直在挑战不可战胜的敌人，他们会感到非常沮丧，并随着时间的推移失去游戏的乐趣。通过创造各种难度的棋子，鼓励玩家通过“福利”不断挑战是可能的，玩家也可以在调整过程中提高技能。
在PVE，人工智能可用于控制环境、事件和NPC通过人工智能的祝福，天气变化、交通和可交换物品将更加动态，从而获得更加真实的互动体验。例如，《模拟人生》中的人会自动坐在椅子上，躺在床上。在巫师3中，商人只在白天营业
“巫师3”
未来人工智能不仅可以用来控制NPC的行为，还可以控制整个游戏，或者设计整个游戏随着游戏的进展，游戏人工智能可以为玩家随机生成地图和检查站，类似于无人驾驶深空程序生成的行星。或者通过提炼设计规则，让人工智能自动完成整个检查点的构建只要玩家愿意玩，就有无尽的关卡可以探索。
“无人深空”
人工智能还可以使用机器学习、数据挖掘等方法来学习玩家的行为数据，并根据每个玩家的习惯生成最合适的元素或者根据所有玩家的反馈修改和优化游戏的整体设计在GTA 6中，Avida使用人工智能来创建虚拟街道。我相信有一天，人工智能创造的游戏会成为现实。
随着人工智能技术在游戏中的广泛应用，我们与游戏互动的方式可以扩展。在游戏中，玩家可以通过语音输入与NPC交谈，而搭档人工智能可能成为我们真正的知心朋友玩家可以通过更加真实和丰富的互动体验在虚拟世界中体验不同的生活。在最近几年的
199比赛中，NPC的表现给我印象最深。毫无疑问，“大把大把的美元2”-生动的图片渲染，无处不在的互动细节，好莱坞水平的台词，配音和表演，无缝结合这部作品将通过现实主义触摸人类情感的问题推向了一个新的高度。在众多的NPC中，给我印象最深的是林德琪。《大把大把的美元2》
对帮派成员的爱，做另一票的野心，有时利己，但失去怀疑后却假装平静...各种复杂的情绪混杂在一起，让人捉摸不透，而这是人性中最复杂的部分
仍然有许多NPC的精彩表演给我留下了深刻的印象。例如，《使命召唤:现代战争2》中帮助受伤主角的幽灵，以及《最后的幸存者》中的艾莉，都充满了“人性的味道”
“使命召唤:现代战争2”
然而，这些NPC有一个致命的问题:重复的游戏会立即失去人性——永远重复你第一次玩游戏时的台词和行为，提醒你这只是一个预先安排的表演，与当前流行的机器学习人工智能无关
机器学习/神经网络人工智能除了在围棋中扮演顶尖的人类玩家外，还在许多领域取得了惊人的成绩。然而，在游戏的应用中，人工智能技术似乎仍然停留在战斗的行为和策略上，这很容易抽象成具体的输入和输出参数。模拟一个活生生的人还有很长的路要走。毕竟，人太复杂了。然而，人类心脏的复杂性并不妨碍我们从外表开始。例如，爱丁堡大学的方法工作室成功地将神经网络应用于各种地形中3D角色的行走性能。
的截图来自视频“[5号人物控制的阶段功能中性网络”，
将极大地丰富游戏人物和场景的交互性能。例如，已经开始在各种电视台工作的人工智能主持人只能一丝不苟地播放新闻，但很难区分真假
在未来，我们可以期待人工智能被用来模拟人物的表情、线条和行为的各个方面，像真实的人一样给出丰富多彩的互动反馈。更重要的是，各行各业都可以分享人工智能虚拟角色的研究成果，使人工智能在各个方面更像人类一样为人类服务。
人认为GTA系列中的人工智能最有趣。每一次交流都可能引发不同的事件，NPC在未来会变得更加聪明。在大数据和学习的支持下，人工智能不再通过计划好的脚本与玩家进行冷漠的交流。
随着硬件功能的增强，渲染后的图像将进一步改善。当然，也有可能依靠当前的云游戏技术在服务器上渲染大规模图像。实时光线追踪图像不会是梦。
此外，随着图像识别和语音识别技术的发展，未来可能会有更多的外设。就像在《黑客帝国》中一样，我们的行动或语言将会促进游戏情节的发展，并且不需要硬键。NPC肯定会有更多的智力，比如记忆力等。在目前的游戏中，它不会像NPC那样僵硬。
参考:
1。https://ai.tencent.com/ailab/zh/news/detial/? id = 27
2。https://ai.tencent.com/ailab/zh/news/detial? id = 52
3。https://ai.tencent.com/ailab/zh/news/detial/? id = 26
4。https://zhuanlan.zhihu.com/p/103817396
5. https://www.youtube.com/watch? V = UL0 GilV 5 vVY
游戏公会20年|美国市场输出结果|版本
剑与探险| 2020重型产品|字节跳动
版
