关于ZAKER Skills 合作
极客公园 25分钟前

Seedance 2.5 上线后,LibTV 先帮创作者「学会」了新模型

模型能力决定视频的上限,但工作流决定创意兑现的效率、确定性和成本。

作者|甘德

编辑|郑玄

Seedance 2.5 发布的时候,身边几乎所有 AI 视频或者 AI 影视相关的朋友都很兴奋。

「模型能力已经溢出了」。

一位在做 AI 短剧导演的朋友这样评价。他的体验是,现在有一个好故事,有专业的电影制作经验,或者一支足够专业的抽卡师团队,以及比较充足的资金,Seedance 2.5 已经能够稳定制作出业界工业水准之上的视频内容了。

但这样专业而无后顾之忧的创作者仍然是少数。

过去一年,视频模型的生成能力大幅提升。但这些变化还没有能够完全兑现到视频整体质量的提升上。

答案或许在那位 AI 短剧导演的后半句里。Seedance 2.5 是一块金子,但对于大多数人来说,需要一套更完整的专业创作工具,让模型能力得以最大化的兑现出来。LibTV 最近的更新,就是在更好地 leverage 前沿模型的迭代。

01

把模型的新 feature 做成工作流

Seedance 2.5 最大的变化之一,是它对参考素材的容量比 Seedance 2.0 大了很多。在 Seedance 2.0 最多可以同时处理 9 张图片、3 段视频和 3 段音频的素材容量上限上,Seedance 2.5 把全模态素材容量扩展到了 50 个。

模型吃得下更多上下文,但这些参考素材本身需要被生产、整理和匹配。这正是 LibTV 的切入点。

LibTV 的智能拉片(Shot Breakdown),旨在帮助创作者解决参考素材的生产和调用问题。

在传统影视生产里,拉片是一项前置于创作的基本功。导演、摄影甚至美术、剪辑都会从成熟作品中把影像拆解成一些独立的镜头片段来作为创作时的参考。「智能拉片」把这件事从手工拆解变成一个几乎一键完成的工作流。

整个智能拉片的操作很简单,你只需要把参考的完整影片放进去,然后就能得到「分镜」、「动态」和「音乐」三个模块的拉片结果。比如用一段岩井俊二的电影片段作为拉片素材,很精准的得到了拆分这段片段中具体场景的三个分镜组。

「智能拉片」提供的的拆解方式有「分镜」、「动态」和「音乐」三种。刚才提到的是「分镜」,除此之外,「动态」部分可以提供对于参考影片运镜的分析参考。而参考影片的 BGM 也能够在「音乐」中被准确的整理出来。

这个拉片的过程对算力积分的消耗是 0。

解决参考素材的自动化生产后,下一个更头疼的问题是,这么多不同维度的素材要如何在创作过程中做整理和匹配?

角色正面或是侧面、远景或是特写、行动轨迹、道具、服装、情绪和声音 ...... 一个 AI 视频创作在实际进入生成阶段前,往往已经有剧本、人物、风格和大量参考图,但这些东西并不会自然变成模型可用的输入。对于创作者来说,如果这些工作都靠人工完成,AI 省下来的时间很快会被另一种劳动吃掉。过去耗在拍摄和剪辑上的成本,可能只是转移到了素材整理、提示词修改和反复试错上。

好的参考素材变得更多,也更难管理了。LibTV 的智能引用(AutoLink)解决的就是「素材匹配」的问题。

当项目里包含大量角色、场景、道具和风格参考时,LibTV 会理解剧本内容,从画布素材中匹配相应参考,并把它们插入提示词中正确的位置。

对于参考素材的归纳和整理能力,难点并不在视频生成模型的能力本身,更像是视频创作里的「工程问题」。但当对 AI 视频作品的细节质量和时长要求更严苛,智能拉片(Shot Breakdown)和智能引用(AutoLink)或许会是 AI 视频创作者的生产力提升里,最容易被低估的一步。

对于 ai 视频创作最重要的视频生成环节,LibTV 也在 Seedance 2.5 的基础上做了一些很有吸引力的能力提升。

02

生成更长了,重拍更短了

Seedance 2.5 把单次生成长度从 15 秒扩展到 30 秒。对 AI 视频生成来说,更长的单段生成意味着视频画面在一致性的保证下,可以承载更完整的人物关系、剧情结构,甚至尝试更多更有深度的镜头语言的风格。

但对于更高质量的影视创作场景, 30 秒仍然不够长。

如果你要复刻一段小津安二郎在《东京物语》里那样对一个人物固定几分钟的长镜头对话,把数个 30 秒的视频拼接起来,保证完全一样的人物和环境,多次天衣无缝的首尾帧衔接,这仍然非常困难。

LibTV 的超长视频(Long Video Direct)功能,把单次视频生成 30 秒的时长上限,扩展到了 5 分钟。

你需要做的就是像在 Seedance 2.5 中操作的那样,把故事脚本、视觉风格和所有素材锚点放在画布上,然后把参考的图片、视频和音乐素材也放上去。比如下面演示的,生成一个《芭比》和《MadMax》混搭风格,高饱和度且有些暗黑、带点韩风的 MV 视频。

另外一点是,视频越长,要修改的部分可能就越多。一个 5 分钟视频里,问题可能出现在第 12 秒的表情或者第 2 分钟的角色动作,或者任何一个前后帧之间的画面不连贯。如果每次修改都要重新抽卡,生成视频长度变长对于创作者来说没有任何正向收益。

所以 LibTV 生成的这支 5 分钟的视频,不只是一次性生成出来的成片,你可以把它看作一个全流程可再编辑的项目。

整个视频中所有的镜头节点都会被保留下来。创作者可以看到它是由哪些片段组成的,再像传统剪辑一样逐段检查、局部返工和完善。长视频因此不只是变长了,而是变得可拆、可改、可迭代。对真正要交付作品的人来说,这比单纯把生成时长拉长更重要。

除此之外,哪怕回归到目前视频生成最基本要的抽卡环节,LibTV 仍然认为这里有可以提升的空间。

Seedance 2.5 的抽卡成功率比 2.0 提升很多,很多镜头基本可以一次抽成功,也能对具体时间段和画面内容进行调整。但在实际制作中,修改仍然可能牵一发动全身。

从 Seedance2.0 到 Seedance2.5,虽然模型可对具体时间段和画面内容进行调整,但不变的是修改后需要重新生成整条视频。如果创作者对内容的修改只能以再次抽卡的方式来实现,那从 15 秒到 30 秒到 5 分钟,视频生成的长度越长,创作者创作的成本也就越高。并且仍然存在每次重新抽卡,上一版视频原本满意的部分被改动了的状况。

如果以真实拍摄做个类比,当一段拍摄素材里整体符合要求,只是几个镜头有瑕疵,最优的选择不是全部重拍一遍,而是对那个瑕疵做些「补拍」。

LibTV 新的「片段重拍」功能关注的就是如何把生成视频的改动量范围的更小,比如—— 30 秒视频里如果只错 2 秒,就只改 2 秒。

这里有一段人物眼神特写的视频,如果现在我希望画面里的蓝眼睛短暂变成红色,然后又变回蓝色。我只需要在这段生成视频的基础上,继续给出明确时间戳信息的 prompt 即可。

而 LibTV 在不同长度视频的生产中所透露出的,对于局部修改能力的关注,也体现出头部 AI 视频工具对于创作者需求的感知变化:AI 视频工具开始从「生成逻辑」转向「制作逻辑」。生成逻辑关心模型一次能做什么。制作逻辑更关心一部作品到底如何被创作出来——各种素材如何被反复修改、协作、复用和交付。前者让人兴奋,后者真正让 AI 视频生成在现实的生产场景里成立。

03

理解模型,不应该成为创作者的工作

专业 AI 创作者今天仍有一个隐形的门槛:理解模型。

AI 为视频创作平权的叙事里,现阶段一个常被忽略的事实是:绝大多数创作者并非离 AI 那么近的人。他们面对的是一个个孤立的黑盒模型,而不是一套成熟的创作工具。

这不是创作者本来应该承担的工作。

导演应该理解镜头,不必理解模型脾气。设计师应该理解视觉表达,不必理解不同模型的输入偏好。AI 视频要成为真正的创作基础设施,这部分模型理解能力应该沉到工具里。

在 AI 内容创作这件事上,模型提供能力, AI 视频平台整合创作工具,但没有任何一方比创作者更重要。

LiblibAI 最早被很多人理解为 AI 绘画时代的模型社区。它把模型、提示词、作品和创作者连接起来,让原本分散的开源模型生态变得更容易使用。到今天,LibTV 当前强调 20 多个独家专业功能、50 多个顶尖模型聚合、100 多个 AI 导演 Skill,以及一个巨大的创作者社区。

这些数字本身不是重点,对视频创作工作流的理解深度,是 LibTV 能够在一众 AI 视频平台的竞争中,能够让创作者用脚投票的原因。

模型能力决定视频的上限,但工作流决定创意兑现的效率、确定性和成本。Seedance 2.5 把上限再次抬高了。LibTV 要解决的是另一件事:让这个上限不只属于少数既懂影视、又懂模型,还有足够资金的人。

前段时间爆火的《被裁掉的女孩》是一个侧面例子。

导演菲菲飞和团队制作的这部 AI 短剧,上线不到 30 天播放量就破了 1 亿。在 20 岁到 27 岁,菲菲飞的身份是一名模特,这部短剧的故事有很多从菲菲飞自己经历中生长出来的灵感。而随着 LibTV 团队版、资产管理、工作流等新能力上线,才有了《被裁掉的女孩》这样一部爆款作品,菲菲飞也第一次真正把 AI 短剧做成了一条能够持续生产、持续更新的创作流程。

换句话说, 模型能力越强,创作者越不应该把精力放在理解模型本身上。

如何创造一种新的语言,让模型能真正与创作者站在一侧,而创作者能够比以往更专注的思考作品中的故事、人物、镜头和节奏—— LibTV 现在试图回答的,就是这个问题。

* 头图来源:LibTV

本文为极客公园原创文章,转载请联系极客君微信 geekparkGO

极客一问

你体验过 AI 视频创作吗?

相关阅读

最新评论

没有更多评论了
极客公园

极客公园

这里汇聚着优秀的产品观察报道、高质量的线下活动

订阅

觉得文章不错,微信扫描分享好友

扫码分享

企业资讯

查看更多内容