时间:2025-04-23 来源:原创/投稿/转载作者:管理员点击:
快科技4月20日消息,GitHub的Lvmin Zhang联合斯坦福大学的Maneesh Agrawala,发布了一项突破性的新技术,通过在视频扩散模型中使用固定长度的时域上下文,可以更高效地生成时间更长、质量更高的视频。
根据实测,基于FramePack构建的130亿参数模型,只需一块6GB显存的显卡,就能生成60秒钟的视频。
目前,它底层基于定制版的腾讯混元模型,不过现有的预训练模型,都可以通过FramePack进行微调、适配。
典型的视频扩散模型在生成视频时,需要首先处理此前生成的带有噪音的帧,然后预测下一个噪音更少的帧,而每生成一帧所需要输入的帧数量,就是时域上下文长度,会随着视频的体积而增加。
这就对显存有着很高的要求,一般至少得有12GB,而如果显存不够多,生成的视频就会很短,质量很差,生成的时间也会很长。
FramePack会根据输入帧的重要性,对所有输入帧进行压缩,改变为固定的上下文长度,显着降低对显存的需求,而且计算消耗与图片扩散模型类似。
FramePack还可以缓解“漂移”(drifting)现象,也就是视频长度增加、质量下降的问题,从而在不显着牺牲质量的同时,生成更长的视频。