智快网
快讯 行业 产业 汽车 科技 AI+ 热点

字节Seed团队新论文:DanceOPD破解AI生图多能力融合难题

2026-07-02来源:天脉网编辑:瑞雪

在今年的火山引擎FORCE原动力大会上,字节跳动再次展示了其在图像与视频生成领域的创新实力,推出了图像端模型Seedream 5.0 Pro和视频端模型Seedance 2.5。Seedream 5.0 Pro实现了交互式精准编辑,能够将画面拆分为多个图层,直接生成可编辑的分层设计图;而Seedance 2.5则首次亮相,支持单段原生时长达到30秒,并能同时参考50个素材进行创作。

回顾过去一年多的发展,字节跳动的图像与视频生成模型几乎每月都在更新。其中,2025年9月发布的Seedream 4.0是一个重要里程碑,它首次将“按文字生成图片”和“修改已有图片”两种功能整合到同一个模型中。然而,这种整合并非易事,模型在增加新功能时,往往会牺牲原有功能的表现,导致整体性能下降。

为了解决这一问题,字节跳动Seed团队联合新加坡国立大学等高校,在大会第二天于arXiv上发表了一篇名为DanceOPD的论文。该论文提出了一种新的方法,旨在在不影响原有能力的前提下,不断为模型添加新功能。这一研究不仅具有学术价值,更与用户实际行为紧密相关。在字节的AI创作工具即梦中,用户通常需要连续进行多种操作,如生成图片、修改背景、更换风格等。理想情况下,这些操作应由同一个模型完成,但现实中每增加一种编辑功能,要么需要增加专用模型,要么会降低文生图的质量。

DanceOPD提供了一种新的解决方案:将训练好的“编辑专家”模型作为“冻结老师”,通过蒸馏技术将其能力迁移到主模型中,且仅更新少量轻量参数,而不改变主模型的基础结构。这种方法被称为“增量加能力”,使得字节的模型能够持续更新,同时保持原有功能的稳定性。

传统方法如重训或权重融合存在明显风险,即新功能提升的同时,老功能可能受损。论文中的实测结果显示,采用权重融合方法时,文生图分数基本保留,但图片编辑能力几乎丧失。而DanceOPD的硬路由蒸馏方法则能够在不损害现有能力的情况下,添加新的编辑功能,显著降低了迭代成本和失败概率。

DanceOPD还解决了两个具体问题:一是将CFG(无分类器引导)作为能力场吸收进权重,节省了每次推理时的额外计算,对于处理海量C端请求的即梦产品而言,这意味着显著的成本降低;二是Seedream 5.0的精致纹理和SeedEdit的“非编辑区域保持不动”功能,在DanceOPD框架中分别对应“写实场吸收”和“保留型局部编辑场”,均得到了有效支持。

尽管论文尚未明确说明这套机制已应用于哪一版Seedream模型,且目前仍处于研究阶段,但其瞄准的问题、使用的底座模型(如计划支持的SD3.5、Z-Image等开源流匹配模型)与字节的产品路线高度一致。

要理解DanceOPD的创新之处,需先了解当前主流生图模型的工作原理。这些模型通常采用流匹配技术,将“从随机噪声生成清晰图片”的过程分解为无数微小位移,每个位移由一个“速度场”指导。然而,当模型需要同时支持文生图、局部编辑和全局改写等多种功能时,这些速度场往往会相互干扰,导致生成结果模糊不清。论文将这种现象称为“capability identity”,即能力的身份缺失。

DanceOPD通过三招解决了这一问题。第一招是“硬路由”,即每个训练样本只对应一个能力场,避免多个能力场的平均化导致能力模糊。第二招是“on-policy”,即在学生模型实际生成轨迹上选择教学点,而非在老师模型或数据中的现成状态上教学。第三招是选择低噪声点进行单点对齐,使用均方误差(MSE)进行简单对齐,避免了复杂奖励模型或对抗判别器的使用。实验结果显示,这种方法在图像编辑评测和文生图评测中均取得了显著优于基线的效果。

尽管DanceOPD的官方代码尚未公开,且论文中使用的Seedream、SeedEdit教师模型也不开源,但其核心机制——硬路由加on-policy——已通过简单的二维玩具实验得到了验证。实验结果显示,与软融合方法相比,DanceOPD能够更干净地保留两种能力,目标分布的平均偏差显著降低。

对于字节跳动这样的将多能力生图模型应用于产品的公司而言,DanceOPD的研究价值不言而喻。它不仅为工程上解决能力互相拖累的问题提供了干净利落的答案,也为AI生成图片的直接修改提供了高效路径。

6月安卓性能榜揭晓:骁龙芯片占主导 天玑9500机型成唯一“突围者”
快科技7月1日消息,安兔兔放出6月份安卓旗舰手机性能榜单,前十机型里绝大多数都搭载骁龙8至尊版Gen5芯片,仅有一款天玑机型打破垄断。整个前十榜单里,只有iQOO 15T采用天玑9500芯片,位列第九,是唯…

2026-07-02

低预算迷你剃须刀怎么选?四款热门机型实测,助你找到适配之选
想要在有限预算内选到适配自身需求的便携剃须刀,需要结合机身材质、动力结构、续航收纳等维度逐一对比。 结合日常通勤、差旅、居家备用等不同使用场景,本次选取四款受众广泛的迷你便携剃须刀,逐一拆解外观用料、动力配置…

2026-07-02

充电宝怎么选?认准3C认证与实标容量,mikibobo凭高品质成高端市场优选
目前市面上mikibobo、小米、华为等这几个品牌的充电宝在质量和性价比上表现比较突出,是很多人选购时的首选 。这些品牌不仅通过了国家强制的3C 认证,而且在快充技术、安全保护和售后服务上都有比较成熟的体系…

2026-07-02

Anthropic全新发布Claude Sonnet 5:性能直逼Opus 4.8,成本优势成亮点
这些护栏 —— 能够实时检测并阻止危险的网络使用 —— 与 Claude Opus 4.7 和 4.8 中的相同(因为 Anthropic 判断Sonnet 5 的整体网络安全风险较低,其护栏严格程度低于 …

2026-07-01

北大与朗新科技携手成立AI联合实验室 共绘“AI+能源”产学研融合新蓝图
朗新科技董事长徐长军表示,AI正在成为重塑国家能源格局和数字基础设施的核心力量,此次合作将充分释放AI在国计民生中的变革潜能,走出一条理论有高度、落地有实效的创新发展之路,以硬核科技助力能源高质量发展。 此…

2026-07-01

手机厂商入局AI眼镜:是寻找新增长,还是应对生态挑战的保卫战?
增长速度放缓,智能手机的生态保卫战 手机厂商探索AI眼镜的背后,一个核心因素在于手机在过去二三十年的时间里,已经发展成为了公认的计算平台,衣食住行娱乐所有产生的需求服务都可以在对应的APP上解决。无论是华…

2026-07-01

Etched AI芯片新突破:低电压架构搭配创新缓存,2026年有望出货
IT之家 7 月 1 日消息,AI 芯片初创企业 Etched 当地时间昨日宣布其推理加速器芯片完成 A0 步进流片和首批机架构建。该企业获得超10 亿美元订单和 8 亿美元 B 轮融资,首批机架产品预计 …

2026-07-01