界面新闻记者 |
界面新闻编辑 | 文姝琪
7月26日，在WAIC2025（世界人工智能大会）上，生数科技最新视频模型Vidu Q1的参考生视频功能成为它此次重点展示的对象。
这是生数科技在视频生成领域对内容生产流程的一次重新梳理。具体而言，此前的视频生成包含较多复杂的前期分镜制作环节，“Vidu Q1参考生”通过对模型算法层面的调整，跳过了这一环节，只上传人物、道具、场景等参考图，就可以直接将多个参考元素生成为一段视频素材，以“参考图——视频生成——剪辑——成片”流程取代分镜生成工作。
例如，输入提示词“诸葛亮与丘吉尔、拿破仑在会议室面对面坐着讨论”，以及三个人物的人物参考图和会议室场景参考图，就可以生成一段三人在同一个会议室交流对话的视频。
这项功能解决了主体一致性问题，这也是视频模型大规模商业化落地的前提。目前Vidu Q1参考生可最多支持七个主体同时输入并始终保持一致，生数科技方面表示，七个主体可以把绝大部分场景和元素固定下来。
生数科技CEO骆怡航对界面新闻记者表示，参考生视频是对传统内容生产流程的变革。在他看来，根据参考主体一键直出视频，是从线下拍摄视频到线上AI创作一个本质的创作流程和方式的转变。其次，这一改动可以构建更通用的创作方式，可更好落地广告、动漫、影视、文旅、教育等不同商业化场景。
多模态模型是当前所有还在坚持基础模型训练的厂商的重点投入方向，而理解与生成一体化被认为是行业共同追求的目标。不过，在自回归架构、扩散架构等底层算法问题上，行业还没有得到一个有效答案。
骆怡航告诉界面新闻记者，从表面上来看，这是一个技术路线选择问题，但对于需要追求应用落地和商业化进程的创业公司而言，这个问题的最终解决要综合研判。
生数科技目前采用U-ViT架构，也是一种主流的基于扩散（Diffusion）和Transformer相结合的架构，不过团队会对个别算法模块等分支部分进行优化。Vidu模型本身也内置多模态理解能力，落地于视频生成。
团队暂时没有将理解与生成一体化放在优先位置，是因为行业客户更关心内容效果而非技术路线，因此模型的创新迭代还是以产业落地为引导。
生数科技正在将Vidu的多模能力接入具身智能领域。7月25日，清华大学与生数科技联合发布具身智能模型Vidar，通过“视频大模型+具身智能”技术路径，实现低成本、少样本泛化，所需数据量约为RDT的八十分之一，π0.5的一千两百分之一。
骆怡航对界面新闻记者解释称，在视频模型和具身智能领域，无论是数字信息还是物理信息，本质上都是时空信息，并且都采用信息输入、决策输出的交互逻辑，因此视频模型对于物理世界规律的理解与具身智能是通用的。团队可以基于Vidu视频大模型基座，通过少量机器人线下实操视频的训练与微调，将生成的虚拟视频转化为对应的机械臂动作。
相较于强调端到端的VLA（Vision-Language-Action）路线，Vidar想要解决前者数据稀缺和难以大规模泛化的瓶颈问题。
视频模型在具身智能领域的能力延伸是一个重要信号，这可能为该领域厂商开启一个潜在的商业市场。
骆怡航表示，考虑到具身智能大规模商业化还需要时间，Vidu目前最高优先级任务仍是提升视频生成能力，并将具身智能领域涉及数字世界与物理世界结合作为持续的探索方向。