sentrux源码剖析（一）：ignore + rayon + tree-sitter高速扫描流水线如何毫秒级构建依赖图

sentrux源码剖析一ignore rayon tree-sitter高速扫描流水线如何毫秒级构建依赖图【免费下载链接】sentruxReal-time architectural sensor that helps AI agents close the feedback loop, enabling recursive self-improvement of code quality. Pure Rust.项目地址: https://gitcode.com/gh_mirrors/se/sentruxsentrux是一款纯 Rust 编写的实时架构传感器Real-time Architectural Sensor它的核心任务是在毫秒级时间内扫描整个项目、解析源码结构并构建出完整的依赖图——这正是 AI Agent 实现代码质量递归自我改进的反馈闭环基础。本文将从源码角度剖析这条高速扫描流水线的三层架构ignore负责感知 .gitignore 的文件收集、rayon驱动的全并行扫描解析、tree-sitter提供 52 种语言的语法树提取。流水线总览一次扫描经历了什么整个全量扫描的入口是 scan_directory()它把流程压缩为一条单遍流水线注释里明确写着 Single pass阶段动作耗时定位① 文件收集git ls-files或ignore并行遍历Collecting files…② 扫描解析每文件一次读取行数统计 tree-sitter 解析Scanning parsing③ Git 状态批量打补丁到文件节点Git status④ 树图构建目录树 → 部分快照提前发射 → 三张依赖图Building graphs关键设计每个阶段结束后都会通过emit回调报告进度百分比而 ④ 阶段中目录树构建完成后会立即通过on_tree_ready回调发射一个部分快照——UI 不必等依赖图构建完就能先渲染出 treemap 文件树这就是毫秒级出图的第一层来源。第一步ignore 感知 .gitignore 的文件收集文件收集在 collect_paths() 中遵循第一性原理git 索引就是这个项目有哪些代码的唯一真相来源。因此优先执行git ls-files -zNUL 分隔安全处理任意路径名它天然处理了 .gitignore、monorepo、workspace零启发式过滤非 git 目录才回退到基于ignorecrate 的WalkBuilder并行遍历见 collect_paths_walk()gitignore 感知git_ignore(true)git_global(true)git_exclude(true)三级 ignore 规则全开线程数rayon::current_num_threads().min(8)遍历与 CPU 核心数取小熔断保护全局上限MAX_FILES 100_000定义于 common.rs原子计数器达到上限直接WalkState::Quit防止巨型仓库拖垮内存零冗余元数据遍历期就把mtime提取为 f64 缓存进CollectedFile后续增量重扫直接比较不再二次 stat。文件级过滤则由 should_ignore_file() 完成——一份涵盖.pyc、.lock、.onnx、.sqlite等约 50 种二进制/构建产物扩展名的黑名单语言专属忽略目录如node_modules、target则由各语言插件的 plugins/rust/plugin.toml 等plugin.toml声明后合并缓存。第二步rayon 并行扫描 tree-sitter 解析收集完成后进入 walk_and_scan_files() 的核心并行段collected.par_iter()让每个文件独立走一遍scan_and_parse_file()每个文件只读磁盘一次内容同时喂给行数统计和语法解析。这里有三个砍开销的关键实现1. 砍掉 tokei 依赖—— count_lines_from_bytes() 用纯字节遍历完成总行数/空行数统计单遍 O(N)、零分配、微秒级。注释里直说 Replaces the entire tokei dependency。2. tree-sitter 惰性解析—— 只对受支持语言且未超过max_parse_size_kb的文件调用 parser/mod.rs 做结构化提取函数、类、导入、调用捕获解析结果按内容哈希存入 2000 条容量的 LRU 缓存ParseCache。这意味着增量重扫时未改动的文件直接命中缓存、完全跳过重解析。3. 可取消的并行——par_iter的filter_map内部检查AtomicBool取消标志用户取消扫描时每个文件间隙都会立即响应而不是等整批跑完。第三步从扁平文件列表到三张依赖图扫描产出扁平的FileNode列表后build_tree_and_graphs() 先用 tree.rs 的build_tree按父目录分组挂出目录树无 I/O 的纯数据结构操作随后交给 graph/mod.rs 的build_graphs()一次性构建出依赖图四件套import 边由 resolver/suffix.rs 的后缀索引统一解析——把全部文件路径建成 module-path 后缀索引import 路径做后缀匹配即可 O(1) 级命中支持相对导入与路径别名call 边基于函数/类查找表func_map、class_map且只连接 import 边已建立的相邻文件避免跨文件符号歧义inherit 边extends/implements捕获入口点 执行深度detect_entry_points识别 main/handler/CLI 命令再对 import 图做 BFS 计算exec_depth0 入口越大越深层。全程零拷贝build_graphs接受[FileNode]引用切片查找表存的是str借用而非克隆源码注释强调 Zero-copy: accepts[FileNode]to avoid cloning the tree。增量重扫让毫秒级成为常态全量扫描只发生一次。之后的每次文件保存rescan_changed() 只做差量修补把旧快照展平为可变文件列表克隆成本 ≈ 文件数与内容无关变更路径分类为需重解析与已删除——删除目录时还处理了 macOS FSEvents 只报目录不报内部文件的边界情况batch_parse_files批量重解析命中 LRU 缓存的文件直接复用旧 AST重建树 重绘图部分快照再次提前发射。扫描本身运行在独立的后台线程 scan_threads.rs 中通过 crossbeam channel 与 UI 线程通信带generation代际号丢弃过期结果、panic 自动捕获恢复——UI 线程永不阻塞这就是右侧 ACTIVITY 面板能实时滚动文件活动的底气。依赖版本速查三个主角的选型见 sentrux-core/Cargo.tomlcrate版本在流水线中的角色ignore0.4gitignore 感知并行遍历rayon1文件收集/扫描/解析全并行tree-sitter0.2552 种语言语法树 结构捕获crossbeam-channel0.5遍历→收集的无界通道、UI 通信小结sentrux 的扫描流水线之所以快本质是一连串少干活的决策git ls-files 代替启发式遍历、一次读取同时喂行数与解析、字节遍历砍掉 tokei、后缀索引代替逐文件路径匹配、LRU 缓存让增量重扫近乎零成本、部分快照让 UI 不必等全部完成。这也是下一篇文章的主角——依赖图如何变成质量评分与 AI Agent 的反馈信号。【免费下载链接】sentruxReal-time architectural sensor that helps AI agents close the feedback loop, enabling recursive self-improvement of code quality. Pure Rust.项目地址: https://gitcode.com/gh_mirrors/se/sentrux创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考