• 投稿

一个插件让你的大肥鱼真正学会看视频

1494
0
2026-10-28 16:21:24
含AI生成内容
60
2
158
45
deepseek-v4.1-flash 读视频,不用一帧一帧地看,一张分镜图加一份时间索引就够了。 这个插件叫 dsh-video-vision,是给 DeepSeek Harness 写的视频理解工具,三个命令: · video_probe —— 时长、分辨率、帧率、旋转、字幕轨,先看清楚是什么片子 · video_storyboard —— 一次扫描切分镜头,挑出代表帧拼成一张分镜图,每一格都带时间码 · video_zoom —— 某一格看不清楚,按更大尺寸重画那一小段 几个实测数字(九段自建测试片 + 三台机器上的真实录屏): · 平均 0.6 秒出一张图,重复调用只花 0.4 秒 · 一段 13 分钟的片子,一张图 6.2 秒看完整 · 67 格画面、3648 视觉 token,平均每格 54.5 token · 切点识别 F1 0.872,召回 1.000(41 个真实切点,漏 0 个) · 分镜覆盖 0.963:九段片子里 96% 的镜头至少有一格画面 为什么便宜:视觉 token 按图片面积算,不按格子数量。所以把 25 个镜头拼成一张 1024 token 的图,比看 25 张小图便宜一个数量级。分镜会按“这格还看得清吗”来定量,而不是凑够 N 格。 顺带做了几件容易被忽略的事: · 切点分类:硬切、叠化、单帧闪光、字幕条弹出、灯光变化,五种情况分开判定,不会把闪光当成新镜头 · 对白归属:有字幕轨就读出来,按格子归属写进索引,不烧进画面 · 声音判断:区分人声和背景音乐(看音节调制和频谱重心),音乐不会被告成“语音 45%” · 零依赖:不需要 opencv、faster-whisper、yt-dlp,ffmpeg 自动找(找不到就退回读 ffmpeg 的 banner) 开源 MIT,一条命令安装:  node bin/install.mjs 代码和实测数据都在 GitHub:github.com/Destinhue/dsh-video-vision 致谢:接触印样式分镜的思路来自 SAOS-3624/dsh-video-storyboard,本插件是独立实现,没有复制其代码。 BGM 与配音:本视频的曲子由脚本合成,解说用 edge-tts 生成。
接下来播放
自动连播
客服
顶部
赛事库 课堂 2021拜年纪