对照 X 作者 Miller(@TuyetloanP81840) 的实操文《用 Claude + H3 一个人拍 AI 短剧:一手实战教程,附全流程提示词和技能包》补齐本地短剧链路——感谢他把「一个人一个剧组」的完整流程和踩坑清单公开。他那边用 RunningHub 跑 H3(一段约 2 毛),本项目用本机 GPU;他靠「身份板当参考图 + 台词分三种写法 + 反应镜头补剪」保一致性,本版把这套机制做成工作流、字段与检查项。
- 参考生视频(ref2v)落地:新增
H3 参考生视频(9 图 + 3 音频参考)工作流,对应 ComfyUI 原生MiniMaxH3ReferenceToVideo(ref_image_1..9/ref_audio_1..3);镜头带参考图时排队自动升级到该工作流,未用到的参考槽在提交前剪枝(占位图/占位音频不进执行图),并按槽位定向注入 - 一图一用途:镜头
refs支持{path, label},提交时自动把用途写进提示词(模型实际读的是<Picture 1>/<Audio 1>标签);喂了图却没在提示词里引用会被预检拦下(REFS_NOT_REFERENCED) - 台词规范检查:新增
dialogue_stats与三条 lint——台词字数×时长(每 10 字≈2 秒,超预算警告DIALOGUE_TOO_LONG)、有引号台词却没标「说/内心独白/画外音」(DIALOGUE_UNTAGGED,防「张嘴念心里话」)、反应镜头夹台词(REACTION_HAS_LINES) - 镜头属性:
gen_secs(生成秒数)、kind(dialogue/reaction/establishing)、seed、audio_refs,走/api/pipeline/shot写入 - 竖屏短剧:批次
aspect一键 9:16 / 16:9,提交时按比例覆盖 H3 的 width/height(352×640 / 640×352,步长 32) - 字幕与剪辑单:
/api/pipeline/srt按镜头台词+时长导出 SRT(AI 画不好字,字幕在剪映里加);/api/pipeline/editsheet导出剪辑单 markdown(镜头号/类型/时长/台词/seed) - 管线 UI:竖屏切换、字幕 SRT、剪辑单、镜头「参考」按钮(选图+填用途标签,自动累积到 9 图)
- 新增
tests/test_ref2v_shortdrama.py13 项(槽位/剪枝/标签注入/路由/台词 lint/SRT/剪辑单),全套 82 项 + 3 个集成脚本全绿
思路来自 X 作者 Eian(@EianLu / GitHub @YIAN6557) 的长文《Claude code/Codex+Seedance AI视频:从一个想法到成片的全流程》——感谢他公开分享这套把抽卡率压到极低的生产方法。他的核心主张是「把错误挡在花钱之前」:文字能发现的错不留到图上,图上能发现的错不留到视频上;配套手段是首尾帧锚定、七段式提示词、提交前审核、复盘沉淀。本版把这条主线本地化:花钱的环节换成 GPU 时间,审核换成确定性预检 + 可选 LLM 视觉审核。
- 首尾帧(FL2V)落地:新增
H3 首尾帧生视频(FL2V)工作流(MiniMaxH3ImageToVideo原生支持first_frame+last_frame双锚定,随附权重本就是 FL2VA);镜头新增「尾帧」槽位,设了尾帧的镜头排队时自动升级到 FL2V;submit_workflow新增按节点定向注图__image_map__,首尾帧分别写入两个 LoadImage,不再像旧__image__那样把同一张图灌满所有 LoadImage - 出片前确定性预检(
precheck_shot,离线可跑):提示词空/过短、七段式缺段(画风/镜头/构图/人物/逐秒/声音/约束)、负面表述(「不要…」常失效)、可拍性 lint(手拿小物/文字招牌/镜子倒影/人物交叉/一镜多动作/俯拍无脸,对应文中模型易错清单)、只设尾帧、工作流不支持 last_frame、首尾帧尺寸不一致、首尾帧 SSIM 过低(机位跑偏)或过高(等于不动) - 门禁拦截:fail 级镜头排队时置为「已拦截」并给出原因,可显式强制提交(记录
forced时间)——避免明知有硬伤还烧 8.5 分钟/条;warn 级只提示不拦 - 视觉审核(对应文中「提交前另开一个 agent」):
/api/pipeline/audit把首/尾帧压成缩略图连同提示词发给视觉模型,只输出「通过/不通过 + 逐条问题」,结果记在镜头上;无 API Key 时明确降级提示 - 复盘沉淀(对应第 8 步):
/api/pipeline/retro生成本批 markdown——镜头成败、GPU 时间、审核通过率、门禁命中频次、逐镜命中项、下次改进项,落data/retro/ - 配色前置:批次级色板(背景/主体/强调/光)+
色板总表(/api/pipeline/palette-sheet直接出 HTML+SVG)——每镜 1920×1080 色块草图、38%/62% 黄金比例参考线、彩色与黑白并排对照;亮度差 <25 时预检直接提示「黑白后主体背景分不开」,把「配色不要在画图前交给模型自由发挥」变成可检查的数字(对应文中 2.5/2.6) - 节拍对齐:
/api/pipeline/beat-align用 ffmpeg 解码 + 能量包络自相关估 BPM(纯 stdlib,零依赖),给出每镜建议生成秒数(吸附整小节)与全片落点偏差;只从原曲测拍点,并提示别拿剪过的成片来测(对应文中「转折对副歌、关键动作对重拍」) - 七段式模板:
/api/pipeline/shot-template提供可直接粘贴的七段结构(含「0–0.2 秒静止与首帧一致」「最后 0.3 秒与尾帧一致」两端锚定写法) - 管线 UI:新增尾帧按钮、单镜预检/审核、批次「预检全部」「复盘」,拦截态显示为「已拦截」
- 新增
tests/test_pipeline_gate.py16 项 +tests/test_palette_beat.py8 项(色板/黑白对比度/BPM 估计与倍频校正/小节吸附/复盘),全套 69 项 + 3 个集成脚本全绿
纯 LLM 转 JSON 的意图链路踩过五个坑:prompt 改动互相打架、输出格式漂移、已有实体被误判新建、多步失败丢上下文、采纳信号没沉淀。本版按「确定性优先 + 显式路由 + 状态机 + 反馈闭环」重构,loci 记忆接入按用户决定不做(避免强行集成)。
- P0 · 确定性意图解析:
agent_execute()的规则层扩到本机可枚举集合(工作流/角色/风格),名称解析走_entity_index → resolve_entity(精确 → 前缀 → 子串 → 编辑距离纠错,名称归一化去「(内置)」后缀与空格;F1ux 文生图/国漫使劲均能收敛),find_wf_smart先按 ID 再按名称;命不中才调 LLM,从根上避免「prompt 改动互相打架」和「已有实体被误判新建」 - P0 · LLM 输出 schema 校验:新增
validate_llm_actions()——动作键白名单、workflow 必须收敛到本机已有实体、times/seed/count 数值域钳制、view 枚举收敛;非法输出ValueError后降级为引导话术,不再裸抛异常文本(防输出格式漂移) - P0 · @ 实体选择器:助手输入框打
@唤起浮层(工作流/角色/风格,可筛选),选中生成可删除绑定芯片;/api/agent新增entities数组,_norm_entities()按 ID 校验存在性后直路由;绑定工作流强制压过 LLM 输出与工具循环(工具循环的生成工具硬编码 Flux,有绑定时跳过),绑定角色注入锁定串 + 服务端 LoRA 节点,绑定风格参与提示词增强 - P1 · 多步动作序列断点恢复:
{"actions":[...]}落盘data/action_plans.json(步骤指针、状态、逐步回复、错误信息,每步落盘),失败步不算完成、指针停在失败处;回复带「断点续跑」按钮 →/api/agent/plans/resume从断点继续;/api/agent/plans查进度。修掉「中途失败即丢上下文」 - P1 · 生成反馈记录:画廊删除(不采纳)/ 归档(采纳)/ 重跑、以及提示词增强成功失败全部记入
data/feedback.jsonl(PNG 内嵌参数自动关联模型/采样器/seed/提示词/风格);/api/feedback/stats出采纳率、按模型采纳对比、重跑率、增强失败率、近 7 天数据——量化风格 SOP 好坏与增强解析失败率,形成「AI 建议采纳率」汇报口径 - 顺带:
跑/画规则层支持纠错后的工作流名,「打开」新增模型/模板页;帮助页助手模块中英各补 3 条问答 - 不做(按用户决定):loci 记忆接入——MCP 管道两端现成,但强行加会引入额外配置与进程生命周期复杂度,暂不集成
距 v1.5.5 六周,ComfyUI 与开源生态密集更新:v0.42.0(10-18)原生支持 MOSS-Image,v0.43.0(10-27)给 MiniMax H3 加单头 LoRA(PDD head banks),10-15 FLUX 3 Image Klein 开源(5.6B)。本次把两条新开源生图线产品化进 ComfyAgent。
- MOSS-Image 文生图(内置)(OpenMOSS · Apache-2.0):按官方模板(image_moss_image_t2i)还原——SFT int8 主模型 + qwen3.5-9b w4a8 编码器(CLIPLoader type=moss_image)+ flux2-vae_small;25 步 er_sde / cfg 2.5,
SkipLayerGuidanceDiTSimple跳层 22 细节锚定;中英长文本渲染与 JSON 排版控制直击短剧「文字卡点」刚需。需 ComfyUI ≥ 0.42 - FLUX 3 Klein 文生图(内置)(Black Forest Labs):蒸馏 int8 16 步 euler/simple(追求官方质感可在编辑器换 base 权重走 50 步 cfg 3.5);原生 4K、文字渲染、边界框排版、多参考图编辑——官方模板 image_flux3_klein_t2i / image_edit 经子图展开一键直连。需 ComfyUI ≥ 0.42
- 模型页新增两个套件:MOSS-Image 三件套 + edit LoRA + 色深控制 LoRA 全部 hf-mirror 一键断点续传(Comfy-Org 仓库无门控);FLUX 3 Klein 套件如实标注 gated——主模型/编码器需登录 HF 接受 flux-kommunity-license 后手动放入 models 目录(flux2-vae 与 MOSS 仓库逐字节相同,可一键下载)
- 修复(事故级):text 覆盖污染负向编码——submit_workflow 的 text 类覆盖此前会写进所有含 text 键的节点,双 CLIPTextEncode 工作流(MOSS 即是)的负向提示词会被正向内容覆盖;现在只写第一个命中的文本节点(正向约定在前)。H3 单文本节点行为不变,回归测试覆盖
- 创作页图像模式工作流下拉自动出现两个新内置;尺寸注入经 EmptyFlux2LatentImage 生效(1024×1024 起,MOSS 支持到 2M 像素、宽高 16 的倍数);预估提示不再写死「Flux · 20步」——按所选工作流实时显示名称与采样步数,模式切换即刷新
- 帮助页同步(中英各 2 条:新内置工作流说明、模型页套件清单更新)
- 测试可移植性修复:tests/test_models.py / test_upload_media.py 硬编码开发机绝对路径(
E:/work/gitee/...),任何其他机器上都直接崩——改为从测试文件位置推导仓库根,非 Windows 环境也能跑通集成链路 - 路线图对齐(详见 docs/竞品分析与路线图.md 2026-10-30 节):NVIDIA VFX 节点(本地视频放大/补帧/SDR→HDR,10-13 发布)列入 AI 放大导出的候选实现;H3 单头 LoRA 等权重公开;ComfyUI 官方 Comfy Agent(10-01 发布)与本项目的命名重叠及 v1 agent host 接入点注记
升级注意:两个新内置工作流依赖 ComfyUI ≥ 0.42 的原生节点(SkipLayerGuidanceDiTSimple / EmptyFlux2LatentImage / CLIPLoader 的 flux3·moss_image 类型);旧版 ComfyUI 会报节点不存在——启动器页「检查更新 → 一键更新」即可。
- 动效系统(对标 transitions.dev 规范):动效 token 化(--dur-1/2/3 + ease-out/spring),全部 14 处
transition: all清零只动 opacity/transform;三层动效齐备——进入(弹窗/Toast/切页/列表交错入场)、过渡(按钮悬浮上浮 + 按压回缩、卡片提亮)、消失(弹窗缩退/Toast 滑出/灯箱淡出,动画播完再 hidden);全局 prefers-reduced-motion 无障碍保护 - SVG 图标集:自绘 lucide 风格 16px 描边图标 29 枚(内联零依赖)——导航 13 个、模式 Tab、约 25 个按钮、画廊卡片悬浮操作、关闭按钮全部替换;硬指标全站零 emoji(12 页 DOM 扫描归零,i18n 66 行值清洗 + 服务端风格名数据源一并清理);⚡草稿徽章改样式化 .draft-tag 药丸
- README 11 张截图全部重摄(新 UI + 中性演示数据,720px 轻量缩略图 304KB)
- 收录徽章:awesome-alternative-uis-for-comfyui(PR #100 已合并)+ Gitee stars
- 角色资产库扩展:角色卡新增 LoRA 绑定(下拉选择 loras 目录文件 + 强度)与 ControlNet 方案备注(预留位);创作页选中角色提交生图时自动注入——工作流已有 LoRA 节点则填值,无节点则插入
LoraLoaderModelOnly并重接 MODEL 链 - 画廊批量删除修复(关键):确认弹窗关闭时访问未赋值元素抛错吞掉回调,导致所有确认类操作静默失效——根治;另加单文件容错(预览占用不再整批失败)与失败明细提示
- 设置页「打开 ComfyUI 界面」修复:window.open 被桌面壳/弹窗拦截 → 改后端 ShellExecute 打开(默认浏览器关联损坏时自动探测 Chrome/Edge)
- i18n:英文模式工作流列表不再残留中文(WF_EN 补全+对齐新名,编辑器监听 langchange)
- 版本号单一来源:关于弹窗读 /api/status(VERSION 文件),删除 app.js 硬编码
- 全部 101 条历史提交消息英文化(国际门面);GitHub Topics 15 个
- 设置页新增「⧉ 打开 ComfyUI 界面」按钮:一键新开原生 ComfyUI 网页标签(地址跟随设置)
- 新增「模型」页(左侧第 9 菜单,快捷键 9):模型不再进 git,改为「清单内置 + 一键下载」——上半部分是推荐套件卡片(首发内置 SCAIL-2 角色动画 6 件套 / MiniMax H3 产线状态展示),逐文件显示安装状态,缺失的点「下载」即走内置 hf-mirror 直连(断点续传 + 实时进度条);下半部分按目录分类浏览本地 models 文件(checkpoints/diffusion_models/text_encoders/vae/loras/clip_vision 等 10 类),支持搜索、打开文件夹
- 模板缺模型自动检测:从模板库打开新模板时,后端对照本地模型目录检查 UNETLoader/Checkpoint/VAE/CLIP/LoraLoader 等全部加载节点的引用文件,缺失则弹确认框一键跳转模型页下载——「打开新流程 → 确认下载」闭环
- 帮助页同步最近功能:模型页用法、设置页直达 ComfyUI、编辑器「上传…」按钮、模板缺模型处理(中英各 3 条)
- 新增 API:
/api/models/scan/api/models/presets/api/models/download/api/models/downloads/api/models/open_folder - 新增
tests/test_models.py集成测试(临时实例 + mock ComfyUI + 假模型目录,4 项断言全绿)
- 编辑器参数面板支持上传媒体:LoadImage/LoadVideo/LoadAudio 等文件型参数(COMBO 列表为媒体文件)旁出现「上传…」按钮,图片/视频/音频直接传进 ComfyUI input 目录并自动填入参数——SCAIL-2 的「参考图 + 驱动视频」从此不用离开 ComfyAgent 界面
- 新增
POST /api/upload_media(multipart 透传到 ComfyUI /upload/image,上限 1GB);api()封装支持 FormData - 模板库支持 ComfyUI subgraph 自动展开:官方 2026 年 6 月起新模板(SCAIL-2 角色动画/替换、SAM3 分割等)用子图封装,此前一键载入会失败——现在转换器自动展开子图为 API 执行图:输入槽桥接(fan-out 复制)、UUID 链级联解析、widget 绑定线识别、无外部源的数据穿透自动生成 Primitive 节点承载默认值
- 跳过 MarkdownNote 等前端专属节点,不再污染 API 提交图
- 新增
tests/test_subgraph.py(5 单测)+tests/test_upload_media.py(透传集成测试);官方 SCAIL-2 int8 模板(102 节点)离线结构断言全绿 - 用法:模板库搜 "scail" → 载入 → 检查器里直接上传参考图和驱动视频。模型清单见官方模板说明(int8 主模型 15.5G + umt5 6.3G + SAM3 1.6G + VAE/LoRA),fp16 主模型 30G 需 24G+ 显存,16-22G 卡用 int8
- MCP Server(
mcp_server.py,stdio + JSON-RPC 2.0,零依赖):外部 Agent/编辑器(ZCode/Claude Desktop/Cursor)可直连本机 ComfyAgent——工具:query_status / submit_generation / list_workflows / search_gallery - 新增
POST /api/generate(生成提交的干净入口,助手工具循环与 MCP 共用) - 看门狗默认关闭:用户手动停 ComfyUI(如游戏时段)不再被自动拉起抢 GPU(默认值 + fallback + 存量配置三处关闭)
- bug 修复:「画」正则缺词边界致「画廊里…」误提交生成(事故级);产线切页 renderBatch 未定义 rejection;命令面板 4 页 undefined 标签 + 搜索必空白
- 助手接入 function calling:5 个内置工具——查任务队列 / 搜索画廊 / 读运行日志 / 操作启动器(status·start·stop·restart)/ 提交生成(图片/视频,count≤4)
- 多轮工具循环(最多 6 轮):模型自主决定调用哪个工具、读结果、再决定下一步;厂商不支持 tools 协议时自动回落旧意图链路
- 工具过程可见:助手回复下方以等宽小字逐行展示 🔧 工具名(参数) → 结果摘要
- 工具结果全部摘要化控制 token 体积;生成类工具仅在用户明确要求时触发
- 说明:本版本 Release 暂以源码 tag 发布,exe 安装包待 ComfyUI 空闲窗口打包补挂
把 minimax-h3-turing 研究成果(T8 BlockCache / PDD8 实测数据)产品化为 H3 双档出片流。
- ⚡ 草稿快跑:产线批次一键用 T8 草稿档快跑全部镜头(t2v 2.7 分钟/镜、i2v 4.3 分钟/镜),挑完镜头后点单镜 ↻ 自动用成片档重跑——两段式出片闭环
- 档位标识:工作流下拉区分草稿/成片(⚡草稿 徽章),选错档的风险在界面层被拦住
- 动态预估:创作页预估时长跟随所选工作流显示真实实测值(替掉过时的固定文案),草稿档明确警示「同 seed 不可复现,勿用于成片」
- 服务端注入档位元数据与草稿映射(代码侧,零工作流文件改动);中英双语;帮助页补两段式用法
- 镜头接龙 (↳):产线批次里每个镜头可一键「接上一镜尾帧」——自动抽取上一个成功镜头视频的最后一帧,设为本镜 i2v 首帧,一段接一段生成无缝衔接的超长连续镜头
- 优先级排队按钮 (⏫):镜头行一键设/取消优先,排队时高优先级镜头先提交(接通后端既有排序)
- 设置卡折叠:连接与目录 / AI 接入 / 界面与更新 / 可靠性四张卡点击标题收起展开,状态记忆
- 全站 tooltip:中断/清队列/导出/拼接/灯箱导航等 9 处图标与后果类按钮补悬停说明
- 产线空批次加「新建批次」直达按钮;帮助页同步更新(接龙/优先级用法)
- style.css 重复样式块去重;清理遗留空事件监听
- 英文模式残留中文清零:9 个 JS 模块 + index.html 共 300+ 处动态/静态文案全部接入 i18n(toast/确认框/空态/状态条/灯箱参数行/启动器诊断/编辑器检查器等)
- 帮助页双语:40+ 问答条目全量英文翻译,跟随界面语言即时切换
- 风格 SOP / LLM 厂商 / 内置工作流显示名客户端本地化(服务端数据保持中文)
- 切换即时生效:导航/标题/按钮/风格条/工作流下拉/厂商下拉/状态条文字全部监听语言切换事件重渲染
- 修复:画廊「全部」筛选跨语言持久化失配(改为语言中立 sentinel + 旧值自动迁移);助手历史里持久化的中文欢迎语自动过滤;页面标题跟随语言
- 文案表占位符方案(%s/%n/%m)统一带数字动态文案
- 内置帮助页:40+ 问答条目覆盖全部 10 个模块,可搜索
- 场景库 / 音频资产 / 字幕烧入 / 风格归纳 / 优先级排队
- exe 体积优化(排除 tkinter/unittest/pydoc_data)
- 集数聚合视图:按批次名前缀聚合统计(镜头数/成功/失败/GPU时间),一键查看每集产能
- 优先级排队:批次内 priority 镜头优先提交
- 场景库:场景名+描述+风格令牌 CRUD,同角色库模式
- 音频资产:自动扫描 output 目录中音频文件(mp3/wav/flac/ogg/aac/m4a)
- 字幕烧入:ffmpeg srt→video 字幕硬压
- 风格归纳:多图→GLM 视觉归纳风格关键词→可存为自定义风格 SOP
- 602 官方模板全部真实预览图(ComfyUI 本地路由代理 + jsdelivr 镜像兜底)
- 修复:循环依赖 TDZ 导致整个界面卡死($/$$ 改为函数声明);托盘驻留(关窗后主线程驻留);模板页骨架屏覆盖容器
- 产线镜头关键帧:每个镜头可从画廊选一张图作 i2v 首帧——提交时自动复制进 ComfyUI input 目录并注入 LoadImage 源;固定人物图/三视图一键完成
- 画廊选图器:通用网格选图弹窗(搜索/缩略图预览),产线关键帧与角色参考图共用
- 角色参考图升级:从手填路径改为画廊选图 + 预览;支持多图(三视图/表情包,最多 4 张)
- 失败自动重试:批次执行失败自动换种子重试(次数可配)
- BGM 混音:拼接成片时可选背景音乐 + 音量调节
- GPU 耗时账本:每批自动统计渲染分钟数
- 实测:H3 i2v + 画廊 Flux 图作首帧 → 380 秒出片
- 模板库:ComfyUI 官方 602 模板(9 大分类),搜索/分页/收藏,一键载入编辑器(自动转 API 格式)
- AI 厂商下拉:智谱 GLM / DeepSeek / Kimi / 通义千问 / 硅基流动 / OpenAI / 自定义(Base URL 可编辑)
- 模型列表自动拉取:从厂商 /models 接口获取真实可用模型,失败切手动填写
- 统一 LLM 通道:提示词增强与助手全部走 OpenAI 兼容协议
桌面产品形态 + 全核心功能闭环:
- 桌面壳:pywebview 原生窗口 + 系统托盘 + 单实例 + 无控制台
- 创作:中文→英文增强、12 风格 SOP、图/视频双模式、角色锁定串
- 画廊:实时瀑布流、批量归档/删除、PNG 参数解析、文件夹筛选
- 工作流:SVG 可视化编辑器(拖拽连线/网格吸附/节点校验)
- 任务:队列/进度/ETA/失败重试
- 产线:分集脚本解析→批量排队→逐镜状态→拼接成片
- 角色资产库:锁定串/参考图
- 启动器:ComfyUI 启停/版本维护/模型盘点/环境诊断/日志
- 知识库:Obsidian 归档/统计/双链关系图
- 可靠性三件套:原子写入、自动备份(保留 20 份)、看门狗(掉线自动重启+断点续跑)
- 多语言:中英双语界面
- 局域网访问:手机看进度
- 快捷键:数字键切页 / Ctrl+K 命令面板 / 搜索
- 产品化 UI 重构(设计令牌体系、首次运行向导、关于页)
- 首次运行向导(检测 ComfyUI → 目录 → Obsidian → API Key)
- 全站视觉重设计(Composer 首页、画廊悬浮操作、紫青渐变)
- PyInstaller exe 打包
- 首版:画廊 / 工作流编辑器 / 任务 / Obsidian / 助手 / 设置