如何上手 LTX-Video实时视频生成模型的安装与使用指南【免费下载链接】LTX-VideoOfficial repository for LTX-Video项目地址: https://gitcode.com/GitHub_Trending/ltx/LTX-VideoLTX-Video 是 Lightricks 开源的基于 DiTDiffusion Transformer架构的视频生成模型官方定位为实时视频潜扩散模型支持文本生成视频、图像生成视频、多关键帧条件控制、视频前后向延长以及视频到视频转换等能力且这些功能可以在同一个模型中自由组合。模型默认输出 1216×704 分辨率、30 FPS 的视频蒸馏distilled版本在 H100 上可做到实时生成。需要注意官方已将后续开发重心迁移到 LTX-2支持音频视频同步生成本仓库对应的是 LTXV 0.9.x 系列模型仍可用于推理和作为二次开发的基座。效果展示以下是仓库README.md中展示的三类生成效果分别对应文生视频、图生视频和受控视频IC-LoRA环境要求与安装官方说明的测试环境为Python 3.10.5、CUDA 12.2、PyTorch ≥ 2.1.2macOS 上 MPS 后端在 PyTorch 2.3.0 下测试通过支持 PyTorch 2.3 或 ≥ 2.6。核心依赖包括torch2.1.0、diffusers0.28.2、transformers4.47.2,4.52.0、huggingface-hub~0.30、einops、timm等见 pyproject.toml。git clone https://gitcode.com/GitHub_Trending/ltx/LTX-Video cd LTX-Video python -m venv env source env/bin/activate python -m pip install -e .[inference]模型权重如ltxv-13b-0.9.8-distilled.safetensors由inference.py在首次运行时通过 Hugging Face Hub 自动下载到本地无需手动获取。若要在 AdaRTX 40 系及更新架构的显卡上启用 FP8 量化推理还需额外安装官方的 Q8 KernelsFP8 权重依赖该推理加速组件。快速上手生成第一个视频安装完成后直接运行仓库根目录的 inference.py 即可。以蒸馏版 13B 模型为例执行文本生成视频python inference.py --prompt A cat walking on the street, cinematic --height 704 --width 1216 --num_frames 121 --seed 42 --pipeline_config configs/ltxv-13b-0.9.8-distilled.yaml参数说明均为InferenceConfig默认值见 ltx_video/inference.py--height 704 --width 1216 --num_frames 121即约 4 秒的 720p 级视频是默认规格--seed固定随机种子用于复现同一构图与风格--pipeline_config指定 configs/ 下的管线配置决定用哪个权重、什么精度、走多尺度管线还是单管线输出自动保存到outputs/YYYY-MM-DD/目录文件名为提示词摘要种子分辨率。也可以将其作为 Python 库调用核心 API 为ltx_video.inference中的infer()与InferenceConfig方便集成到自己的服务里。核心功能详解文本生成视频Text-to-Video即上文的默认用法。提示词建议写成按时间顺序描述动作与镜头的单段落形式先写主要动作再补充运动细节、角色外观、背景环境、镜头角度、光线与色彩。官方提示词增强机制会在提示词短于 120 词prompt_enhancement_words_threshold时自动调用 Florence-2 图像描述模型 Llama-3.2-3B 对提示词做扩写长提示词则直接使用。图像生成视频Image-to-Video通过--conditioning_media_paths传入一张图片并指定其在成片中的起始帧python inference.py --prompt PROMPT --conditioning_media_paths image.jpg --conditioning_start_frames 0 --height 704 --width 1216 --num_frames 121 --pipeline_config configs/ltxv-13b-0.9.8-distilled.yaml关键参数--conditioning_start_frames条件帧在生成视频中的位置0表示以该图为首帧--conditioning_strengths条件强度0~1默认 1.0多条件时逐个指定--image_cond_noise_scale默认 0.15对条件图像添加的噪声量影响结果与参考图的偏离程度。多条件生成与视频延长--conditioning_media_paths支持同时传入多张图片或多段短视频实现多关键帧式条件控制或把一段已有视频接长前后均可。两个约束必须满足否则会报ValueError输入视频段帧数必须是 8 的倍数加 1如 9、17、25 帧目标总帧数需为 8 的倍数条件列表、强度列表、起始帧列表三者长度必须一致。模型与管线配置选择configs/ 目录按模型版本 精度组织常用的有配置文件说明ltxv-13b-0.9.8-dev.yaml13B 完整模型质量最高显存需求最大两阶段共约 60 步ltxv-13b-0.9.8-distilled.yaml13B 蒸馏版两阶段合计约 10 步无需 CFG/STG适合快速迭代ltxv-13b-0.9.8-distilled-fp8.yaml蒸馏版 FP8 量化precision: float8_e4m3fn显存占用更低需 Q8 Kernelsltxv-2b-0.9.8-distilled.yaml2B 蒸馏版显存需求最轻质量略低于 13B0.9.8 系列配置均为multi-scale多尺度管线first_pass以downscale_factor: 0.6666666的低分辨率先出整体结构second_pass再借助spatial_upscaler上采样精修细节这是官方推荐的先快后精渲染方式。参数调优与性能参考以下为官方 README 给出的参数建议及源码中的实际行为可据此调优分辨率与帧数宽高需能被 32 整除、帧数需为 N×81如 257不满足时inference.py会自动 pad 再裁回目标尺寸。官方经验值是 720×1280 以下、257 帧以内效果最佳。Guidance Scale建议 3~3.5。注意蒸馏模型配置中guidance_scale: 1即不需要 CFG 与 STGdev 模型才使用较高的 guidance 与stg_scale。采样步数追求质量可加步数40追求速度可降到 20~30蒸馏模型 8 步即可。显存不足时优先改用 FP8 配置文件或 2B 模型inference.py在显存小于 30GB 时还会自动对部分模块做 CPU offloadoffload_to_cpu。负向提示词默认为worst quality, inconsistent motion, blurry, jittery, distorted可按内容追加。随机采样配置中stochastic_sampling用于蒸馏模型官方称可改善视觉质量经验建议蒸馏模型效果不理想时可尝试开启。常见问题与排障FP8 配置报 Q8-Kernels not foundFP8 权重需要单独安装官方 Q8 Kernels 才能运行或改回bfloat16配置。条件生成报 ValueError检查条件媒体数量、--conditioning_strengths、--conditioning_start_frames三者数量是否一致起始帧必须落在0 ~ num_frames-1区间。视频延长失败确认输入视频帧数为 8n1输出总帧数为 8 的倍数。首次运行较慢属正常现象权重、PixArt 文本编码器及提示词增强模型均会触发一次 Hub 下载之后走本地缓存。输出被裁切或留黑边输入图/视频会先中心裁剪到目标宽高比再缩放比例差异大时请留意构图。延伸资源管线实现含LTXVideoPipeline与多尺度管线ltx_video/pipelines/3D Transformer 与注意力实现ltx_video/models/transformers/因果视频 VAE 与上采样器ltx_video/models/autoencoders/整流流Rectified Flow调度器ltx_video/schedulers/rf.py推理入口与全部命令行参数python inference.py --helpinference.py测试用例配置校验、推理、VAE、调度器tests/【免费下载链接】LTX-VideoOfficial repository for LTX-Video项目地址: https://gitcode.com/GitHub_Trending/ltx/LTX-Video创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
