无需特等模子历练、即插即用足球投注app，全新的视频生成增强算法——Enhance-A-Video来了！
和最近东说念主气超高的混元视频生成模子（HunyuanVideo）对比来看，加入 Enhance-A-Video 的版块在生成画面中确认出了愈加丰富的细节和更高的语义契合度，生成内容和用户输入的文本领导更匹配：
推敲团队成员来改过加坡国立大学、上海 AI 实际室和德克萨斯大学奥斯汀分校。
简单来说，新算法通过调治时间重看法层输出的一个重要参数，约略在险些不增多推理职守的情况下，大幅提高生成视频的细节确认和时序连贯性。
Enhance-A-Video 还兼容多种主流视频生成模子，无需修改基础架构即可平直应用。
比如CogVideoX-2B + Enhance-A-Video：
还有OpenSora-V1.2 + Enhance-A-Video：
实际收尾显现，Enhance-A-Video 在提高视频质料方面确认不凡，尤其是在对比度、明晰度以及细节确切性上有显赫校阅。
新算法也曾发布，其雄伟的泛化身手亦然连忙获得了社区的认同。
许多网友已将该算法集成到多个主流推理框架中，包括 ComfyUI-Hunyuan 和 ComfyUI-LTX。
对比一下网友 Kijai 发布的原始混元模子和增强后的效果，不错看到模子生成画面愈加当然，动态确认也愈加开导：
△Comfy-UI 测试收尾，左边为原始视频，右边为增强视频
LTX-Video 的推敲东说念主员 Nir Zabari 还告捷将它应用到了LTXV模子中，显赫提高了生成视频在动作一致性和细节呈现方面果真认。
这一服从标明，Enhance-A-Video 不仅适用于特定模子，还能时常适配于不同的视频生成框架。
推敲配景：提高视频生成质料需求热烈
连年来，以 Diffusion Transformer（DiT）为代表的视频生成工夫 [ 1 ] 迅猛发展，约略笔据文本形色生成万般化的视频内容。
然而，现存依次仍濒临以下挑战：
时序不连贯：帧与帧之间缺少一致性；
细节微辞：画面纹理缺少明晰度；
画面抖动：动态效果不够得当。
这些问题显赫影响了生成视频的实用性和不雅看体验，若何提高 AI 生成视频的质料成为当前推敲的重要问题之一。
为了科罚上述问题，Enhance-A-Video 应时而生。其中枢旨趣是通过一个增强统统，优化时间重看法的划分，从而杀青以下上风：
高效增强：快速提高视频质料；
无需历练：可平直应用于现存生成模子；
即插即用：生动适配多种场景和需求。
联想动机：时间重看法的优化后劲
时间重看法（Temporal Attention）在 DiT 模子中矜重信息的帧间传递，对生成视频的连贯性和细节保留至关珍摄。
通过对不同 DiT 层的时间重看法划分进行可视化分析，推敲东说念主员发现：
在部分 DiT 层中，时间重看法的划分存在显赫相反：跨帧重看法（非对角线部分）的强度显豁低于单帧夸耀看法（对角线部分）。
这一征象可能导致帧间信息传递不及，进而影响视频的一致性和细节确认。
基于这一不雅察，作家建议了一个重要假定：能否通过运用时间重看法来提高视频质料？
△不同 DiT 层的时间重看法划分图
这一假定的灵感起原于大讲话模子（LLM）中的温度统统（τ）调遣机制。
在文本生成中，通过调治 Softmax 的温度参数不错均衡一致性与万般性 [ 2 ] ：
增大 τ，生成收尾愈加万般化。
减小 τ，生成收尾更连贯一致。
肖似地，在视频生成中，时间重看法的温度统统不错平直影响帧间关连性强度，为 Enhance-A-Video 的联想提供了表面基础。
依次详尽：无需历练的动态增强决议
基于上述不雅察与念念考，作家初次发当前间重看法的温度统统决定了不同帧之间的关连性强度，关连性强度越高意味着每一帧生成时，在时间陡立文维度所研讨的界限越广。
由此主见启程，作家建议了一种调治时间重看法层输出，无需历练的视频增强依次，该依次不错平直应用于现存的 AI 视频生成模子。
△Enhance-A-Video 框架图
Enhance-A-Video 的中枢联想是通过动态调遣时间重看法层的输出，杀青对帧间一致性和细节确认的优化。
具体依次分为以下几步：
1. 并行增强模块
在时间重看法层的基础上增多一个并行分支，规划时间重看法划分图。
输入时间重看法层的荫藏情状也被传入增强模块。
2. 规划跨帧强度（CFI）
从时间重看法划分图中索要非对角线元素的平均值，看成跨帧强度（Cross-Frame Intensity, CFI）。
3. 动态增强罢休
引入增强温度参数（Enhance Temperature），将其与 CFI 的乘积看成增强模块的输出统统。
运用该统统动态调治时间重看法层输出的特征增强强度。
通过这一计谋，Enhance-A-Video 约略高效地提高视频的帧间一致性和细节确认，而无需对原始模子进行重新历练。
为 AI 视频生成工夫提供新念念考
这项推敲建议了首个无需历练、即插即用的 AI 生成视频质料增强依次—— Enhance-A-Video，针对当前生成视频质料的重要问题，围绕时间重看法机制张开翻新联想，主要孝顺如下：
翻新性依次：通过在时间重看法层规划交叉帧强度，引入增强温度参数，提高帧间一致性与细节确认力。
高效性与通用性：无需历练，平直适配主流视频生成模子。
显赫性能提高：在 HunyuanVideo 等模子上科罚了细节缺成仇时序不一致等问题。
异日他们还会在此基础上进一步开展职责，包括：
自相宜增强：推敲自动调遣增强温度参数机制，优化一致性与万般性均衡。
彭胀适用性：优化依次联想以适配大界限模子和多模态场景。
质料评价：构建更完善的视频生成质料评价体系。
作家示意，期待本推敲为 AI 视频生成工夫的本色应用与质料提高提供新的念念路和辅助！
开源代码纠合：https://github.com/NUS-HPC-AI-Lab/Enhance-A-Video
关连博客纠合：https://oahzxl.github.io/Enhance_A_Video/
参考文件：
[ 1 ] Brooks, Tim, Bill Peebles, Connor Holmes, Will DePue, Yufei Guo, Li Jing, David Schnurr, Joe Taylor, Troy Luhman, Eric Luhman, Clarence Ng, Ricky Wang and Aditya Ramesh. " Video generation models as world simulators. " OpenAI Research ( 2024 ) .
[ 2 ] Renze, Matthew and Erhan Guven. " The Effect of Sampling Temperature on Problem Solving in Large Language Models. " ArXiv abs/2402.05201 ( 2024 ) .
— 完 —
投稿请发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿内容
附上论文 / 样子主页纠合，以及接洽方式哦
咱们会（尽量）实时陈说你
点这里� � 宥恕我，难忘标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日相逢 ~