未来函数GitHub
返回上一层

Vox 视频导演 Skill

基于开源项目 Vox Director 二次开发的中文 Agent Skill,把一个主题转化为带有脚本、关键帧、配音、字幕、动效和质检的纸片拼贴视频。

开源二次开发Agent SkillPythonFFmpeg / ffprobePillowEdge TTSWorkBuddy / 豆包工作
OPEN SOURCE ADAPTATION / OUTPUT

从一个主题,到一条可以交付的中文拼贴视频。

精选展示《人工智能发展史》30.08 秒竖屏验证成片的质检联系表与三个节拍画面。

人工智能发展史中文拼贴视频六个节拍的质检联系表
QA六节拍联系表 · 1080 × 1920 / 25 fps
人工智能发展史视频节拍 01:七十年 · 开场
01七十年 · 开场
人工智能发展史视频节拍 04:AI 寒冬 · 转折
04AI 寒冬 · 转折
人工智能发展史视频节拍 06:生成时代 · 收束
06生成时代 · 收束
01

产品介绍

Vox 视频导演 Skill 是一套面向中文用户的 Agent Skill。用户提供主题、时长和画幅后,它会规划脚本与节拍,调度图片和图生视频插件,并在本地完成中文配音、标题、字幕、镜头运动、音乐混合、视频合成和质量检查,最终输出 MP4。默认适合制作 30 秒、9:16、6 个节拍的历史、科技、知识科普、产品介绍与社交媒体短视频。

项目定位

如何把分散在不同国内宿主中的图片、视频与配音能力,组织成一条可确认、可重试、有本地后备并且可以交付成片的中文拼贴视频工作流。

本项目是在 Alisa Qian(GitHub:Alisa0808)的开源项目 Vox Director 基础上进行的二次开发,原项目采用 MIT License。中国版保留并标明原作者与许可来源,重新适配国内宿主与本地渲染链路。当前版本尚未移植 A-roll 口播重绘、C-roll 主体锚定、数字主持人、口型同步与元素级自动拆层动画。

解决方案

问题当前解决方案
Atlas Cloud 接口在国内使用不便优先调用宿主中的国内图片与视频插件,并移除必须配置 ATLASCLOUD_API_KEY 的前提。
不同生成工具之间素材难以衔接使用统一文件命名协议,并在无法直连插件时输出 image-prompts.md 与 video-prompts.md。
单个图生视频片段失败会阻断整片每个节拍可单独重试;缺少 MP4 时自动从关键帧生成推近、拉远、平移或静止镜头。
中文配音、字幕和音乐需要手工整理使用 Edge TTS 或用户录音,自动适配节拍时长、字幕安全区,并在人声出现时压低背景音乐。
成片缺少统一的交付检查输出 final.mp4 与 qa/contact-sheet.jpg,并检查分辨率、时长、声画同步、字幕超框和结构漂移。
用户主题生成 beats.json确认节拍确认风格样张生成关键帧图生视频中文配音字幕与音乐合成 final.mp4抽帧质检
02

产品功能

内容策划

  • 按主题生成标题、节拍结构、逐段旁白和画面说明
  • 支持自定义时长、节拍数量以及 9:16、16:9、1:1 画幅
  • 提供节拍确认与第一张风格样图两个检查点

图片与视频插件调度

  • 优先寻找宿主中的图片生成和图生视频插件
  • 支持逐节拍生成、独立重试和用户自备素材
  • 无法直接调用插件时生成标准化提示词交接文件

本地镜头与合成

  • 支持 zoom_in、zoom_out、pan_left、pan_right 和 static
  • 图生视频片段优先,本地关键帧动效作为逐段后备
  • 自动裁切并输出 H.264/AAC MP4

中文配音与声音

  • 支持 Edge TTS 中文音色、语速与节拍时长适配
  • 支持 MP3、M4A、WAV、AAC、OGG 用户配音
  • 背景音乐在人声出现时自动降低音量,无音乐时可生成本地后备音

字幕与画面包装

  • 自动生成中文标题和逐段字幕
  • 中文自动换行、字体检测与多画幅安全区适配
  • 统一关键帧、视频片段和字幕的输出分辨率

输出与质检

  • 输出 final.mp4 与均匀抽帧的 qa/contact-sheet.jpg
  • 检查总时长、分辨率、声画同步、字幕超框和标题遮挡
  • 检查图生视频结构漂移、节拍运动与人声/音乐音量
03

使用方法

项目提供 WorkBuddy 安装包、通用便携版 Skill 和本地 Python 渲染方式。导入 Skill 后,用自然语言给出主题、时长、画幅与风格;在节拍和风格样张确认后继续生成。

示例指令

使用 Vox 视频导演 Skill,制作一条介绍人工智能发展史的中文视频,30 秒,9:16。优先调用图片生成和视频生成插件。

  1. 把 WorkBuddy 专用包或通用便携版 Skill 导入支持 Skill 的宿主。
  2. 输入主题、语言、时长、画幅和希望使用的拼贴风格。
  3. 检查并确认 beats.json 中的节拍、标题、旁白和画面说明。
  4. 先确认第一张风格样图,再生成其余关键帧。
  5. 让宿主逐节拍执行图生视频;失败的节拍保留关键帧供本地动效使用。
  6. 生成或放入中文配音与背景音乐,然后运行本地渲染。
  7. 检查 final.mp4 和 qa/contact-sheet.jpg,确认字幕、构图、运动与音量。

其他使用方式

  • 豆包工作或其他宿主无法直接调用插件时,使用 image-prompts.md 与 video-prompts.md 在豆包、即梦等工具生成素材后放回项目目录。
  • 本地方式需要 Python 3.10+、Pillow、FFmpeg 与 FFprobe;Edge TTS 为可选依赖。
  • 已有逐节拍配音时,可使用 render_local.py --skip-tts 直接进入包装与合成阶段。
04

当前开发状态

当前版本为 1.0.0,已经形成可导入的 Skill 包和可运行的本地视频制作链路。核心渲染、混合动效、中文包装和质检已通过测试;宿主插件的真实调用仍需在具体 WorkBuddy 或豆包工作环境中联调。

模块当前状态
标准 Skill 指令与参考文档已完成并通过 Skill Creator 校验
WorkBuddy / 通用便携安装包已完成,ZIP 结构与元数据已检查
项目初始化与提示词文件已完成并测试
宿主图片生成插件调用顺序和文件协议已设计,等待真实宿主联调
宿主图生视频插件输入协议已完成,等待真实宿主联调
五种本地关键帧动效已完成并测试
图生视频与本地动效混用已完成并通过双节拍冒烟测试
中文标题、字幕与安全区已完成并测试
Edge TTS / 用户配音已完成并测试
音乐闪避、拼接与抽帧质检已完成并测试
30 秒中文竖屏成片已完成,FFmpeg 全量解码通过
A-roll、C-roll、数字人和元素拆层尚未移植或实现

下一步重点先在 WorkBuddy 与豆包工作中完成图片和视频插件的真实调用联调,再补齐错误恢复、安装说明和不同宿主兼容性验证;之后评估 A-roll、C-roll、数字主持人和元素级动画。