TiXL 图像分析算子库Lib.image.analyze完全指南从亮度检测、运动追踪到波形示波器【免费下载链接】t3TiXL is an open source software to create realtime motion graphics.项目地址: https://gitcode.com/GitHub_Trending/t3/t3TiXLtooll3是面向实时动态图形realtime motion graphics创作的开源工具其Lib.image.analyze算子族是内置运算符库中专门负责读懂图像的一组工具它们既能对画面做量化分析如读取亮度数值也能生成可视化结果如波形示波器、运动矢量场还能完成实时视觉处理如去除静态背景、检测画面运动。读完本文你将掌握这 7 个算子的完整参数语义、输出类型与典型接线方式并能结合仓库中的 HLSL 源码理解光学流与背景建模的底层实现直接用于自己的 TiXL 项目。所有算子均位于运算符库Lib.image.analyze目录见 README入口会输出T3.Core.DataTypes.Texture2D类型纹理可与 TiXL 的渲染树无缝串联。一、算子族总览算子一句话定位输出核心CompareImages前后效果对比监看器Texture2DDetectMotion基于运动历史/帧差的变化检测Texture2DGetImageBrightness输出整幅画面的亮度数值Command FloatImageLevels亮度分布直方图可视化Texture2DOpticalFlowLucas-Kanade 光流运动矢量场Texture2DRemoveStaticBackground统计滤波背景减除抠像Texture2DWaveForm波形图 矢量示波器叠加Texture2D其中CompareImages / ImageLevels / WaveForm属于监看分析工具服务于调色与效果验证GetImageBrightness属于数值分析工具输出可供其他算子驱动的浮点数DetectMotion / OpticalFlow / RemoveStaticBackground属于运动与背景分析工具常被用于交互式演出、追踪与抠像链路。二、CompareImages效果前后对比监看器CompareImages 是一个用于验证图像效果之前 / 之后的简易辅助工具它将两张图像并排显示中间由一条可移动的分割线隔开该分割线同时充当对比监视器可拖动以查看两侧差异。文档建议与 ImageLevels、WaveForm 配合使用形成效果对比 波形验证的完整监看链路。输入参数名称相关度 类型说明Texture2dTexture2D必填输入图像 A效果前Texture2d2Texture2D必填输入图像 B效果后RotateSingle旋转分割线的角度CenterVector2定义分割线的中心位置IntensityRangeSingle定义分割线/监看区域显示的大小输出名称类型TextureOutputT3.Core.DataTypes.Texture2D接线建议将同一个视频源分别接入原始通路与滤镜/着色器处理后通路分别接到 Texture2d 与 Texture2d2拖动 Center 即可快速定位处理前后差异最明显的区域调试完成后可直接将对比输出接入录屏或投影通路。三、DetectMotion运动历史与帧差检测DetectMotion 使用运动历史或帧间差值来检测图像中的变化可用于追踪类应用如摄像头画面中的人体运动区域提取。输入参数名称相关度 类型说明VideoTextureTexture2D必填视频/摄像头输入纹理VideoFrameIndexInt32相关当视频输入帧率不同于 60fps或当前显示器刷新率时应传入帧计数可防止闪烁MethodInt32检测方法选择运动历史 / 帧差等模式BackgroundFadeSingle背景衰减速度决定运动历史轨迹的消退速率RemapColorBoolean启用下方渐变进行颜色重映射RemapGradientGradient启用后可提高对比度、降低噪声或用于按键key颜色输出名称类型TextureOutputT3.Core.DataTypes.Texture2D实战要点接入非 60fps 的视频源时务必把帧号接到VideoFrameIndex否则运动检测结果会出现周期性闪烁当检测结果噪点偏多时开启 RemapColor 并用 RemapGradient 压暗低响应区域可显著提升二值化质量。四、GetImageBrightness把画面亮度变成可驱动参数GetImageBrightness 分析 2D 输入的亮度并输出一个 float 亮度值。关键限制为了让其正常工作本算子必须集成到当前活动的渲染树active rendering tree中——因为它需要随渲染一起执行更新命令。输出名称类型UpdateT3.Core.DataTypes.CommandBrightnessSystem.Single接线建议这是图像分析驱动实时控制的典型范例——将Brightness输出接到其他算子的参数如灯光强度、粒子发射速率、模糊半径即可实现画面越亮、效果越强的音频可视化之外的视觉联动务必保证该算子处于被渲染的子树中否则 Update 命令不会执行、亮度值不会更新。五、ImageLevels亮度分布直方图可视化ImageLevels 将图像的亮度分布直方图可视化是调色与曝光检查的重要工具官方文档建议与 CompareImages、WaveForm 联合使用。输入参数名称相关度 类型说明Texture2dTexture2D必填待分析的输入纹理CenterVector2直方图显示中心RotationSingle直方图显示旋转WidthSingle直方图显示宽度RangeVector2亮度统计范围裁剪高低两端ShowOriginalSingle是否/以多大透明度叠加显示原始图像输出名称类型OutputT3.Core.DataTypes.Texture2D实战要点通过Range可以聚焦统计某一亮度区间用于检查高光是否溢出、暗部是否欠曝将 Output 叠加在画面上方即可获得类似后期软件直方图画面的合成监看界面。六、OpticalFlowLucas-Kanade 光流运动矢量场OpticalFlow 是本文档中最具技术深度的算子它实现光流效果生成可用于驱动粒子效果的运动矢量场。输入要求该效果需要连续的视频帧作为输入可通过 KeepPreviousFrame 算子保留上一帧配合产生运动矢量存储在结果的红、绿通道中蓝色通道用于表示检测到运动的幅度magnitude。其 HLSL 实现位于 OpticalFlowKanade.hlsl源码注释明确标注这是对 mds2 在 Shadertoy 上 XlBcRV 作品的 HLSL 移植算法本体为 Lucas-Kanade 光流法Lucas–Kanade method。从源码结构看该 shader 通过cbuffer ParamConstants暴露Lod / Amount / ClampRange / OutputMode四个参数与文档中的算子参数一一对应cbuffer ParamConstants : register(b0) { float Lod; float Amount; float2 ClampRange; float OutputMode; }着色器核心思路对两帧输入inputTextureA / inputTextureB在局部窗口内构造AtA梯度结构张量与Atb方程求解最小二乘光流位移其中Lod通过pow(2., Lod)缩放采样步长LodScale / iResolution.xy从而实现对效果的模糊/平滑控制。输入参数名称相关度 类型说明ImageTexture2D必填当前帧Image2Texture2D必填前一帧通常由 KeepPreviousFrame 产生LodSingle指定采样输入纹理的 MipMap 层级值越大效果越模糊VisualizeResultBoolean是否直接可视化光流结果VisualizationScaleSingle可视化时的矢量缩放幅度AmountSingle控制检测运动的大小灵敏度ClampRangeVector2钳制并归一化结果防止数值过小或过大OutputMethodInt32输出方式灰度中性值 R 0.5、G 0.5、B 0或带符号范围 -1 到 1输出名称类型TextureOutputT3.Core.DataTypes.Texture2D实战要点粒子驱动场景中建议使用OutputMethod 带符号模式将红/绿通道x/y 位移直接接到粒子位置偏移蓝通道运动幅度接到粒子大小或透明度出现闪烁时调高 Amount 或 ClampRange 收窄数值范围需要大范围平滑运动时适当提高 Lod。七、RemoveStaticBackground统计滤波静态背景抠除RemoveStaticBackground 使用统计滤波去除图像中的静态背景本质上是在静态背景前检测运动的抠像器keyer。该算子参数极多是典型的自适应背景建模方案从参数语义可推断其维护了每个像素的均值背景记忆与容许方差/散布范围并叠加邻域一致性投票与时间稳定性。输入参数名称相关度 类型说明Texture2dTexture2D必填待抠像的视频/摄像头输入UpdateBoolean是否持续更新背景模型OutputModeInt32输出模式遮罩/合成等MeanRateSingle背景记忆适应慢变化如灯光漂移的速度值越大收敛越快但可能把缓慢移动的人吸收进背景SpreadUpRateSingle像素突然变噪/不稳定时系统放宽容忍度的速度值越大越少闪烁但抠像灵敏度下降SpreadDownRateSingle环境稳定后容忍度重新收紧的缓慢程度值越小抠像越稳定避免边缘抖动MinSpreadSingle最小噪声垫防止纯平区域过度敏感安静区域出现闪烁假阳性时可调大BackgroundGateLoSingle系统开始怀疑变化、放缓背景学习的阈值点希望背景在轻微运动下仍持续适应时可调大BackgroundGateHiSingle像素被判为前景、停止学习背景的阈值点调低可防止人物烧入背景调高则让背景在较强变化下仍能适应ZScaleSingle判定与背景不同的整体灵敏度旋钮值越大抠像越激进越小越宽容BrightSuppressionSingle忽略比背景更亮的像素的程度对投影仪补光场景有用值越低越强地忽略明亮投影变化聚焦人物等暗部遮挡EnableChromaBoolean是否启用色彩通道参与判定ChromaWeightSingle颜色变化相对亮度变化对抠像的影响权重需要响应色相偏移时调大只关注明暗剪影时调小VoteThresholdSingle像素被判为前景参与邻域投票的最低门槛调大忽略弱噪声变化调小捕捉微弱运动DensityRangeVector2x遮罩开始增强某像素所需的最小邻域一致数调大要求更实心的形状调小保留更细的细节y邻域共识被视为完全可信的密度值调低更激进地填充空洞调高更严格、保留细边缘TemporalStabilitySingle时间维度的稳定性控制KeepOriginalSingle保留原始遮罩与邻域精修结果的混合比例值越大细节越细腻但噪声越多值越小画面越干净、块状IsTrainingBoolean是否处于训练模式先采集纯背景TrainingMeanRateSingle训练期的背景均值学习速率TrainingSpreadUpRateSingle训练期的容忍度放宽速率TrainingSpreadDownRateSingle训练期的容忍度收紧速率TrainingBrightSuppressionSingle训练期的明亮抑制参数输出名称类型OutputT3.Core.DataTypes.Texture2D调参建议按使用场景快速上手先开启 IsTraining 让场景在无人时完成背景建模配合训练期速率参数再关闭 Training 进入正常运行投影演出投影仪补光导致背景变亮调低 BrightSuppression让系统忽略变亮部分、专注人物等暗部遮挡画面噪点/闪烁依次调大 MinSpread、SpreadUpRate调低 VoteThreshold 的误报再适当提高 TemporalStability细节保留 vs 干净遮罩通过 KeepOriginal 在细腻但含噪与干净但块状之间取平衡通过 DensityRange 控制邻域投票的严格程度。八、WaveForm波形图与矢量示波器叠加WaveForm 通过在图像上叠加 Waveform波形图与 Vectorscope矢量示波器来可视化图像内的颜色与强度分布。文档特别强调这些叠加监看工具价值极高无数教程展示了它们如何应用于色彩校正等场景是调色师与 VJ 检查画面是否偏色、亮度分布是否健康的利器。输入参数名称相关度 类型说明EffectTextureTexture2D待分析的效果纹理HeightSingle波形图显示高度OpacitySingle叠加层不透明度DimBackgroundSingle背景压暗程度让示波器更突出ColorIntensitySingle颜色信息显示强度ShowVectorscopeBoolean是否显示矢量示波器EnlargeVectorScopeCenterSingle放大矢量示波器中心区域用于精细观察肤色线等低饱和区域OverrideSizeInt2覆盖默认显示尺寸VectorScopePositionVector2矢量示波器的屏幕位置输出名称类型ImgOutputT3.Core.DataTypes.Texture2D实战要点将 ImgOutput 叠加到调色链末端通过波形图检查亮度动态范围是否溢出通过矢量示波器判断偏色方向调色时开启EnlargeVectorScopeCenter可更精确地校准肤色与中性灰。九、组合应用示例一条完整的实时视觉交互链路结合上述算子可以在 TiXL 中搭建一条典型的摄像头 → 分析 → 驱动渲染链路输入摄像头/视频纹理分别进入DetectMotion运动区域提取与OpticalFlow光流矢量抠像同一路视频进入RemoveStaticBackground得到干净的人物剪影遮罩监看WaveFormImageLevels叠加在调色链末端检查亮度与色彩分布分析驱动GetImageBrightness读取画面亮度将其 float 输出接到粒子系统或灯光强度参数验证CompareImages对比处理前后画面快速确认效果边界。该链路中每个算子的输出均为T3.Core.DataTypes.Texture2D除 GetImageBrightness 输出 Command Float因此可以任意组合串联形成从感知画面到驱动创作的闭环——这正是 TiXL 作为实时动态图形工具的核心工作方式之一。参考与延伸算子族入口与索引README各算子参数明细CompareImages、DetectMotion、GetImageBrightness、ImageLevels、OpticalFlow、RemoveStaticBackground、WaveForm光流实现源码OpticalFlowKanade.hlslLucas-Kanade 算法基于 Shadertoy XlBcRV 的 HLSL 移植上述算子对应的项目文件与符号定义均位于运算符库 Operators/Lib/Symbols 与 Operators/Lib/Utils 中文档由运算符库自动生成README 末尾标注Auto-generated from the operator library.因此参数表与源码保持一致可直接作为开发参考。提示OpticalFlow 需要连续帧输入请务必使用 KeepPreviousFrame 产生前一帧GetImageBrightness 必须处于活动渲染树中才会更新输出值。【免费下载链接】t3TiXL is an open source software to create realtime motion graphics.项目地址: https://gitcode.com/GitHub_Trending/t3/t3创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
