近日,阿里巴巴 发布了其最新技术成果 Animate Anyone2,这项突破性技术可实现视频人物的精准替换。根据项目官网公布的案例展示,用户只需提供原始视频与目标角色图像,系统即可在保留原视频动作轨迹的基础上,完成人物形象的实时替换。

实验数据显示,系统可将足球运动员的射门动作完整迁移至动画角色,同时保留球体运动轨迹的真实物理特性。针对影视制作中的复杂需求,该系统还支持自定义光照调节与背景环境适配,实现人物与场景的深度融合。

image

该系统搭载的动态骨骼绑定技术,通过精确追踪人体28个关键骨骼点,能准确捕捉肢体运动轨迹与面部微表情。在公开测试视频中,无论是舞蹈演员的连续旋转动作,还是武术动作中的快速腾挪,替换后的角色都能保持动作连贯性。

在技术层面上,该系统采用了一种形状无关的掩模策略,能够更有效地描述角色与环境之间的关系。同时,为了增强角色与周围物体之间的互动,Animate Anyone2引入了轻量级的物体引导器。该引导器负责提取与角色互动的物体特征,并通过空间融合技术将这些特征注入到去噪过程中。这样的设计使得角色在运动时与环境及物体的互动显得更加流畅和真实。

实验结果显示,Animate Anyone2在生成具有环境适应性的角色动画方面表现出色。与目前市场上的同类产品,如 Viggle 和 MIMO 相比,Animate Anyone2在角色的一致性、细节保留和互动的真实性上都展现出更高的水平。这标志着角色动画技术的发展迈向了新的高度。

image

image

随着 Animate Anyone2的推出,角色动画在游戏、影视制作和虚拟现实等多个领域的应用潜力进一步扩大。它不仅为动画制作人提供了更强大的工具,也为观众带来了更加生动、真实的视觉体验。

项目:https://humanaigc.github.io/animate-anyone-2/

划重点:

🌍 Animate Anyone2通过捕捉环境特征,实现角色与环境之间的真实互动。

🎨 新技术引入物体引导器和空间融合,提升角色与物体的交互效果。

🚀 相较于同类技术,Animate Anyone2在细节和一致性方面展现出明显优势。