deepseek-v4.1-flash 读视频,不用一帧一帧地看,一张分镜图加一份时间索引就够了。
这个插件叫 dsh-video-vision,是给 DeepSeek Harness 写的视频理解工具,三个命令:
· video_probe —— 时长、分辨率、帧率、旋转、字幕轨,先看清楚是什么片子
· video_storyboard —— 一次扫描切分镜头,挑出代表帧拼成一张分镜图,每一格都带时间码
· video_zoom —— 某一格看不清楚,按更大尺寸重画那一小段
几个实测数字(九段自建测试片 + 三台机器上的真实录屏):
· 平均 0.6 秒出一张图,重复调用只花 0.4 秒
· 一段 13 分钟的片子,一张图 6.2 秒看完整
· 67 格画面、3648 视觉 token,平均每格 54.5 token
· 切点识别 F1 0.872,召回 1.000(41 个真实切点,漏 0 个)
· 分镜覆盖 0.963:九段片子里 96% 的镜头至少有一格画面
为什么便宜:视觉 token 按图片面积算,不按格子数量。所以把 25 个镜头拼成一张 1024 token 的图,比看 25 张小图便宜一个数量级。分镜会按“这格还看得清吗”来定量,而不是凑够 N 格。
顺带做了几件容易被忽略的事:
· 切点分类:硬切、叠化、单帧闪光、字幕条弹出、灯光变化,五种情况分开判定,不会把闪光当成新镜头
· 对白归属:有字幕轨就读出来,按格子归属写进索引,不烧进画面
· 声音判断:区分人声和背景音乐(看音节调制和频谱重心),音乐不会被告成“语音 45%”
· 零依赖:不需要 opencv、faster-whisper、yt-dlp,ffmpeg 自动找(找不到就退回读 ffmpeg 的 banner)
开源 MIT,一条命令安装:
node bin/install.mjs
代码和实测数据都在 GitHub:github.com/Destinhue/dsh-video-vision
致谢:接触印样式分镜的思路来自 SAOS-3624/dsh-video-storyboard,本插件是独立实现,没有复制其代码。
BGM 与配音:本视频的曲子由脚本合成,解说用 edge-tts 生成。