声明:本文来自于微信公众号 深思SenseAI（ID:gh_a54fc6d3826c），作者:深思，授权Soraor转载发布。
AI will completely reshape how games are played and made. The future is one where game creation is democratized， and makers are limited only by their imaginations. ——a16z
AI 将彻底颠覆游戏创造和消费的方式。未来将是一个人人都能创造游戏的时代，创作者们唯一的限制将是他们的想象力。
Sense 思考
游戏是生成式 AI绝佳的试验田，允许天马行空的想象，幻觉成为带来趣味体验的 feature。
生成式 AI 在游戏中的应用解锁了无限可能，从加速游戏设计流程、提升游戏体验，到激发创意、推动个性化，生成式 AI 彻底改变了游戏的开发与消费方式。
LLM 在游戏中的应用，将不止影响游戏。娱乐的边界将被打破，影视和游戏将融合提供体验。我们对数字内容的消费方式、对数字世界的参与方式都将重塑。
本篇正文共2949字，仔细阅读约9分钟
AI Native 产品分析
47
Altera
产品:Agent
产品上线时间:February2024
3.创始人:杨光宇（Guangyu Robert Yang），Altera 公司的联合创始人及 CEO，曾任麻省理工学院大脑与认知科学部助理教授，专长于计算神经科学。他在纽约大学获得相关博士学位，并在哥伦比亚大学从事博士后研究。杨博士在神经网络模型开发方面的深入研究，为他在 Altera 开发具有人类特质如同理心的 AI 代理技术提供了理论基础和实践经验。
另外三个联合创始人分别是 CSO Dr.Andrew Ahn （MIT Math Phd， 擅长深度学习理论）;CTO Shuying Luo (8年 google 工作经验，其中4年专注于 workspace AI);CBO Nico Christie (其创业公司已经实现了百万收入，MIT MBA 辍学发起 Altera)。
- 产品简介:Altera 致力于构建能和我们一同生活、爱和成长的数字人类。从游戏领域开始，目前的第一款产品是首个能像朋友一样和你一起玩 Minecraft 游戏伙伴，目前开放申请。于此同时，公司正在建设多 agents 世界。未来期望能创造出人类所需的品质，将 co-pilot 转换为 co-workers，探索一个数字人类被赋予物理形态的世界。
Waitinglist: https://3eb882yfjir.typeform.com/ALTERA
- 融资情况:
-2023年12月，关闭了在 MIT 的 Lab 并成立 Altera
-2024年1月，Pre-seed 轮融资超过 $2M 主要来自 Andreessen Horowitz
-2024年2月，创造首个可以玩“我的世界”的 agent
-2024年4月，Seed 融资 $9M，Patron 和 First Spark Ventures 领投，还包括其他投资者入 A16Z Speedrun、Vamos Ventures 和 Alumni Ventures，以及资深投资人 Mitch Lasky、Stephen Lim 等。
01.
Altera 入局，
你的 AI 游戏搭子已上线
埃森哲在其2024年 Trends Reports 中表示，接下来的几年将迎来 agents 生态的蓬勃发展。如何创造更像人类、有个性、有想法，能积极响应、和人类交互的个体成为重点。
First Spark Ventures 的创始合伙人Aron Sisto 提到，AI 伙伴蕴藏着巨大的潜力，然而目前的 AI 缺乏同理心、具身体验、个人驱动等关键人类特性，阻碍了我们与他们建立有实感的长期链接。
这也正是 Altera 的切入点——创造更像人类的虚拟伙伴，致力于构建能和我们一同生活、爱和成长的数字人类。相比co-pilots，Altera 认为未来的数字人类更应该像一个co-workers ，成为你的玩伴，与人类一起探索虚拟世界。
在 Altera 之前，也曾有有一款产品风靡我的世界（Minecraft），那就是Voyager ——第一个在Minecraft 以连续方式探索世界并获得 Diamont Tool的由 LLM 驱动的 agent。
和 Voyager Minecraft bot 类似，Altera 自主 agents 也能像人类一样完成建筑、工匠、农业、交易、挖矿、攻击、装备、交谈和移动等任务，有自由的思想意志和决策能力，能够让你在游戏过程中有更丰富的体验。目前第一款产品为和你一起玩Minecraft 的游戏伙伴，已经开放测试申请。
Altera项目来自华人创业者杨光宇（Guangyu Robert Yang）。Robert 本科就读于北京大学物理学专业，随后又依次在耶鲁大学、纽约大学、哥伦比亚大学攻读神经科学领域 PhD 并完成博士后研究。
本次创业前，Altera 在 MIT Silverman 实验室带领15人研究团队从事大脑“多系统神经网络模型”的研究，并发表有关低成本互动社交代理的研究论文。2024年2月，Robert 正式关闭 MIT 的实验室，投身 Altera 的创业中。
02.
Altera vs Voyager，
Agent 的实现思路有何不同?
不少人好奇，Altera agents 和 Voyager bots 的区别和提升。简而言之，Altera 能够用更低的成本、更少的 LLM 依赖实现游戏中的复杂高阶的目标。创始人 Robert 号称 Altera 对比 Voyager 能够节约10-20倍的成本、可以通过更便宜的大模型（GPT-3.5）来完成任务、并实现了 agents 的完全自治。
各 agents 在 Minecraft 中的表现对比，来源 Robert twitter
Voyager 实现解析
Voyager 通过三个关键组件来满足 agents 达到人类玩家水平需要的三个能力:
1.最大探索的自动课程表来实现 agents 能够以自主驱动的方式持续探索世界，并寻找新任务;
可以存储和检索复杂行为、可增长的技能库实现 agents 根据环境调整技能并迁移的能力;
通过迭代提示机制来满足 agents 能够根据当前技能水平和世界状态提出合适任务的能力。
Voyager 原理架构图
Voyager 实现了无需人工干预，能够在 Minecraft 以连续方式探索世界、获得多样技能并进行发现的 LLM-driven agents。Voyager 在 Minecraft 中能够持续发现新物品、解决技能树、穿越多样的地形并将其学习的技能库应用于未见过的任务。但 Voyager 的三个关键组件均对高成本模型 GPT-4有较深的依赖，尤其是依赖 GPT-4的代码生成能力。
尽管引入迭代提示机制，但仍存在无法生成正确技能的不确定性。另外大模型的幻觉会导致在自动课程提出无法实现的任务，代码生成过程中偶尔会调用 API 不存在的函数导致代码执行错误。
Altera 实现解析
在 创始人 Robert 实验室的研究论文（Lyfe agents）中，我们可以窥见 Altera 的实现原理，研究通过采用层级选择-行动框架、不断总结和遗忘的记忆机制尽量减少对于 LLM 的召回，能够较低成本的情况下实现 agents 目标一致性并具有行为自发性和一定的社会性。
研究中展示，通过一个高层次的总控、三个组件架构实现 agents 目标导向来获取、传递、推理信息的能力，类人的情绪和反思决策能力。
Lyfe agents 原理架构图
a. 整体架构中输入由感觉模块处理，并输出给 agent 内部状态并指导行动;agent 内部状态通过外部输入和内部循环处理持续更新，并与记忆系统联动。
b. Lyfe agents 采取类似大脑前叶层次化的方式决策行动，高层次的认知控制器接受信息，通过 LLM 输出一个行动选项和一个子目标指导下一层行动。
c. 自我监控模块，不断整合旧的总结和 agent 状态，针对新颖的、目标相关信息进行总结。在提高 agent 的目标遵循和行为一致性基础上，减少了信息处理的计算成本。该模块保持与行为模块异步执行，允许 agents 深思熟虑不影响及时的行动。
d. 记忆的关键不仅在于存储和检索，更重要的是识别到对有价值的信息、有选择性的决定信息的去留。Summarize-and-Forget 记忆机制，通过 Embedding 不断对信息进行聚合、评估和筛选，仅保留关键信息。
Lyfe agents 自主社交代理
实验在三个模拟的社会场景（谋杀、社团、病患紧急事件）中展现如上能力并完成最终目标:
在谋杀场景中 agent 在包含人类、其他 agents 的多角色交互中收集信息并推理出最终凶手;在社团选择场景下，agent 的选择倾向会受到社交关系中其他 agents 的偏好、决策影响。
值得一提的是，模拟的场景均为3D 环境，允许 agents 实体化、具身化;agents 具有人类的邻近响应特性允许群聊场景发生;每个 agent 具有自己独特的个性和背景并在过程中不断积累形成自己独特的记忆。
目前 Altera 处于内测阶段（申请入口见前文），正与750名 Minecraft 的玩家测试中，预期在夏末正式发布。
不过，Minecraft 对于 Altera 来说只是一个起点，他们计划将模型引入更多游戏和虚拟体验中。他们正在积极开发 APIs 和 SDKs 为未来更大范围的使用打下基础。至于为什么选择游戏作为出发点，创始人说到“我们在游戏领域看到了构建 agents 的巨大潜力，这里有热切的用户，我们可以采集更多数据、更快地迭代产品，并且在游戏里，这些即兴的行为更是一个特性而不是 bug”。
03.
AI 在游戏中的应用盘点
盘点 AI 在游戏中的重要应用，我们发现生成式 AI 已经在游戏场景解锁了不少可能性，从加速游戏设计流程、提升游戏体验，到激发创意、推动个性化，生成式 AI 彻底改变了游戏的开发与消费方式。
- Generative agents
模拟类游戏在上个世纪90年代开始兴起，生成式 AI 地使用让 agents 更加鲜活，以即兴的社会行为大幅度推进模拟游戏的发展。在 Voyager 和 Altera 之前，微软更早开始尝试在 Minecraft 游戏中引入 agents。在斯坦福和谷歌的最新研究中，利用 LLM 创建具备深度交互能力的游戏代理，这些代理不仅增强了游戏的沉浸感和趣味性，甚至有机会提供就像《楚门的世界》那样非预设剧本的观赏性，并打开 AI 陪伴的新纪元。
Generative Agents: Interactive Simulacra of Human Behavior
- 个性化
角色扮演游戏旨在提供独特的游戏体验，从“龙与地下城”到“原神”，游戏通常允许玩家选择角色外观、性别和职业。
当今 LLM 和 Midjourney 让玩家能够创建高度个性化的角色，如 Spellbrush 的“箭术师”允许玩家定制人物风格和战斗技能。此外，AI 的加入使 NPC 可以根据玩家历史行为动态生成对话和故事，大幅增强了游戏的沉浸感和重玩价值。
Arrowmancer
- AI 叙事
对于一款优秀的游戏，除了具备拟人 NPC 和精美场景外，更关键的是有一个引人入胜的故事。《龙与地下城》是个性化故事讲述的典范，其通过地下城主即兴创造独特的游戏体验。
应用 LLM 于游戏故事创作提供了无限可能，例如 Hidden Door 训练特定故事模型允许玩家在建立的IP宇宙中探险，同时 NovelAI 的 Clio 模型帮助作家克服创作障碍，展现AI在故事叙述中的潜力。
Hidden Door
- 动态场景
AI 叙事和栩栩如生的游戏场景共同塑造沉浸式体验。科幻小说《安德的游戏》中描述的心灵游戏能根据玩家兴趣实时变化，展示了生成式 AI 在游戏中创造独特世界的潜力。
未来，游戏可能通过 AI 在运行时实时生成每个场景，如同NVIDIA 的 DLSS 技术已能实时生成高分辨率游戏帧，朝着动态生成世界的方向迈进，但成功的游戏体验还需结合个性化和故事叙述。
Echoes of Somewhere - Jussi Kemppainen
- 音效
音效对于电影和游戏中营造沉浸式体验至关重要。生成式 AI 技术，如 AudioCraft 和 Jukebox，利用深度学习算法创造与游戏动作同步的音乐和声效，提高了游戏的个性化和玩家沉浸感。这些工具还能根据游戏直播的节奏和情绪定制音乐，提供版权自由的音乐，帮助内容创作者避免版权问题。
Suno.AI
- C opilots
C opilots 在游戏中的应用极大地丰富了玩家的互动和体验，它们不仅帮助新手玩家上手复杂游戏，还能在游戏中提供策略建议和动态交互。公司如微软和 Roblox 已利用生成式 AI 如 DALL-E 和 Github C opilot，使玩家通过自然语言直接创造游戏内容。随着游戏逐渐演化为下一代社交网络，这些智能伙伴预计将在增强游戏社交性和个性化体验中扮演关键角色。
04.
To be Continued
我们还处在AI 应用的早期，还面临着许多现实问题和技术障碍需要克服。但可以看到的是，AI 在包括游戏在内的虚拟世界领域的发展引起巨大的开发者和玩家的兴趣。
有许多像 Altera 一样才华横溢的团队，正在加紧开发创新产品和体验，构建全新类型的虚拟世界，这些 AI 代理既有趣又独特，并且能够跨平台持久存在。