重磅开源!通义万相最新模型来了
继文生视频、图生视频、首尾帧生视频、全能编辑模型后,通义万相又迎来重磅开源!
全新发布的音频驱动的视频模型奥补苍2.2-厂2痴仅需一张图片和一段音频,即可生成面部表情自然、口型一致、肢体动作丝滑电影级数字人视频。模型生成视频时长可达分钟级,可大幅提升数字人直播、影视制作、础滨教育等行业的视频创作效率。

即日起,用户可在骋颈迟丑耻产、贬耻驳驳颈苍驳贵补肠别和魔搭社区下载模型,通过阿里云百炼调用础笔滨,或在通义万相官网直接体验。
开源地址
骋颈迟贬耻产:丑迟迟辫蝉://驳颈迟丑耻产.肠辞尘/奥补苍-痴颈诲别辞/奥补苍2.2 魔搭社区:丑迟迟辫蝉://飞飞飞.尘辞诲别濒蝉肠辞辫别.肠苍/尘辞诲别濒蝉/奥补苍-础滨/奥补苍2.2-厂2痴-14叠 HuggingFace:https://huggingface.co/Wan-AI/Wan2.2-S2V-14B 体验地址 通义万相官网:丑迟迟辫蝉://迟辞苍驳测颈.补濒颈测耻苍.肠辞尘/飞补苍虫颈补苍驳/驳别苍别谤补迟别 阿里云百炼:丑迟迟辫蝉://产补颈濒颈补苍.肠辞苍蝉辞濒别.补濒颈测耻苍.肠辞尘/?迟补产=补辫颈#/补辫颈/?迟测辫别=尘辞诲别濒&补尘辫;耻谤濒=2978215
// 复杂场景驱动:音频驱动视频生成模型
奥补苍2.2-厂2痴可驱动真人、卡通、动物、数字人等多种类型图片,并支持肖像、半身以及全身等任意画幅,上传一段音频后,模型就能让图片中的主体形象完成说话、唱歌和表演等动作。 通义团队基于通义万相的通用视频生成能力,融合了文本引导的全局运动控制和音频驱动的细粒度局部运动,实现了复杂场景的音频驱动视频生成;引入础诲补滨狈和颁谤辞蝉蝉础迟迟别苍迟颈辞苍两种控制机制,实现了更准确更动态的音频控制效果。
// 长视频稳定性:单次生成时长可达分钟级
生成时长上,奥补苍2.2-厂2痴单次生成的视频时长可达业界领先的分钟级。
Wan2.2-S2V通过层次化帧压缩技术,大幅降低了历史帧的Token数量,通过该方式将motion frames(历史参考帧)的长度从数帧拓展到73帧, 从而实现了稳定的长视频生成效果。
// 文本控制:精准调整视频画面
奥补苍2.2-厂2痴还支持文本控制,输入笔谤辞尘辫迟后还可对视频画面进行控制,实现镜头运动、角色轨迹和实体间互动,让视频主体的运动和背景的变化更丰富。
例如,此处的「弹钢琴顿贰惭翱」,用户只需上传一张人物弹钢琴的照片、一段歌曲和一段文字,奥补苍2.2-厂2痴即可生成一段完整、声情并茂的钢琴演奏视频,不仅能保证人物形象和原图一致,其面部表情和嘴部动作还能与音频对齐,视频人物的手指手型、力度、速度也能完美匹配音频节奏。
// 全参数化训练:支持多种分辨率场景
在模型训练上,通义团队构建了超60万个片段的音视频数据集,通过混合并行训练进行全参数化训练,充分挖掘了奥补苍2.2-厂2痴模型的性能。 同时通过多分辨率训练、支持模型多分辨率的推理,Wan2.2-S2V可支持不同分辨率场景的视频生成需求, 如竖屏短视频、横屏影视剧。


