用SV3D把一张图变成360度环绕视频【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-modelsStability AI 的 generative-models 仓库里的 SV3D输入一张图就能生成 21 帧、576×576 的 360 度环绕视频仓库里还有能把短视频变成多视角 4D 内容的 SV4D 2.0。适合想在本地跑通新颖视角合成的开发者。先看生成效果仓库自带的示例输入图 assets/test_image.png单一物体、背景干净是 SV3D 的典型输入输入一张 576×576 图片输出 21 帧环绕视频图为不同角度下的环绕帧一张图进去一个 mp4 出来。如果你的需求就是让镜头绕着物体转一圈直接跑下一节的命令就行。跑通第一个SV3D环绕视频环境要求Python 3.10 CUDA官方测试基线是 cu118。git clone https://gitcode.com/GitHub_Trending/ge/generative-models cd generative-models python3.10 -m venv .generativemodels source .generativemodels/bin/activate # 按自己的 CUDA 版本装 PyTorch下面以 cu118 为例按需改 pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 pip3 install -r requirements/pt2.txt pip3 install . # 下载 SV3D_u 权重放到 checkpoints/ huggingface-cli download stabilityai/sv3d sv3d_u.safetensors --local-dir checkpoints# 用仓库自带的示例图直接出环绕视频 python scripts/sampling/simple_video_sample.py \ --input_path assets/test_image.png \ --version sv3d_u \ --output_folder outputs/my_first_orbit # mp4 落在 outputs/my_first_orbit/不指定 --output_folder 时默认是 outputs/simple_video_sample/sv3d_u/入口是 scripts/sampling/simple_video_sample.py模型按 scripts/sampling/configs/sv3d_u.yaml 加载。SV3D 官方 model card 标了 11GB 起步的显存要求显存不够的看下一节的排错部分。自定义相机轨迹并延伸到视频输入sv3d_u 让相机自动绕主体一圈不需要任何相机参数适合快速展示物体的场景。要控制仰角或走特定轨迹时换 sv3d_p# 静态环绕仰角固定在 10 度 python scripts/sampling/simple_video_sample.py \ --input_path assets/test_image.png \ --version sv3d_p \ --elevations_deg 10.0权重同样从 stabilityai/sv3d 下载sv3d_p.safetensors配置在 scripts/sampling/configs/sv3d_p.yaml。完全自定义轨迹时--elevations_deg范围 -90 到 90和--azimuths_deg范围 0 到 360、升序各传 21 个值每帧一对。sv3d_p 不适合多物体或背景复杂的图因为整圈轨迹是从单张参考帧推出来的。输入一段 21 帧短视频输出同一物体在多个新视角下的视频主体本身在动人走动、风扇旋转时走 SV4D 2.0 链路输入从图片换成 gif/mp4huggingface-cli download stabilityai/sv4d2.0 sv4d2.safetensors --local-dir checkpoints python scripts/sampling/simple_video_sample_4d2.py \ --input_path assets/sv4d_videos/camel.gif \ --output_folder outputs/sv4d2默认在方位角 60/120/180/240 输出 4 个新视角视频外加输入视角入口是 scripts/sampling/simple_video_sample_4d2.py。调参与处理常见坑症状CUDA out of memory。原因同时编解码的帧数太多。修复--decoding_t 1SV3D 脚本SV4D 2.0 脚本再加--encoding_t 1。decoding_t 默认 14每减一帧省一大块显存。症状环绕视频抖动、运动处发糊。原因采样步数不够。修复--num_steps 50。推荐区间 20~50SV3D 默认就是 50压到 20 以下闪烁会明显超过 50 时长翻倍但收益有限。症状主体变形、背景残留。原因输入不是干净背景 单一物体。SV3D 在白色背景单物体图上训练脚本只对非透明图自动跑 rembg复杂背景效果没保障。修复准备透明底 PNG 或白底照片主体占画面 60~80%。症状断言报错 Please provide 1 value, or a list of 21 values。原因sv3d_p 的elevations_deg/azimuths_deg传了个数的列表。修复要么传一个浮点数要么传正好 21 个值的列表。症状控制台提示图片不是 576×576。原因SV3D 训练分辨率是 576×576任何输入都会被缩放警告无害。想把效果调到最稳就把输入预先裁成 576×576。分清SV3D环绕视频的边界单一静态物体商品、玩具、动物摆件SV3D 的主场直接用。多物体交互或真实复杂场景不合适绕一圈会出现一致性崩坏。想要静态场景里镜头动起来的视频用同仓库的 SVD 链路--version svd权重来自 stable-video-diffusion-img2vid。目标是可导出的 3D 模型或网格换工具。SV3D 只输出新视角视频不输出几何。仓库里的模型均为研究用途发布许可见model_licenses/生成内容用于商用前先核对对应 license。一句话讲清核心思路SV3D 是视频潜扩散模型输入图被编码成潜表示扩散过程去噪出一整段 21 帧的潜序列每一帧的相机仰角和方位角作为条件注入保证视角连续不跳变。SV4D 2.0 在此基础上把条件从单帧换成 12 帧运动片段加 4 个参考视角再自回归一次 12 帧地延长视频。时空注意力和相机嵌入的实现在 sgm/modules/video_attention.py采样器在sgm/modules/diffusionmodules/sampling.py。挑两个可以接着做的实验把--input_path换成自己的单物体图固定其他参数对比--seed 23和--seed 42两次环绕的稳定性差异。跑python scripts/sampling/simple_video_sample.py --help看全部参数然后给 sv3d_p 传一个自定义的elevations_deg列表试试俯冲式环绕。【免费下载链接】generative-modelsGenerative Models by Stability AI项目地址: https://gitcode.com/GitHub_Trending/ge/generative-models创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
