RuView 在 MM-Fi 上的 WiFi-CSI 姿态与动作感知完整实证：超越姿态 SOTA、零样本泛化失败与“少样本室内校准“的部署正解

RuView 在 MM-Fi 上的 WiFi-CSI 姿态与动作感知完整实证超越姿态 SOTA、零样本泛化失败与少样本室内校准的部署正解【免费下载链接】RuViewπ RuView turns commodity WiFi signals into real-time spatial intelligence, vital sign monitoring, and presence detection — all without a single pixel of video.项目地址: https://gitcode.com/GitHub_Trending/wi/RuView本文源自 RuView 仓库中的开源基准研究报告 docs/benchmarks/mmfi-wifi-sensing-study.md并结合 ADR-150RF Foundation Encoder 决策记录与实测链条、效率前沿报告 以及已落地的 校准服务参考实现 展开。全文所有性能数字均为研究文档记录的实测结果适用前提数据集、协议、硬件在文中逐条标注。导读RuView 团队在公开的 MM-Fi 数据集40 名被试 × 4 种环境27 类动作[3 天线, 114 子载波, 10 帧]CSI 幅度张量上对WiFi 信道状态信息CSI→ 二维人体姿态与动作识别做了完整、诚实的评测姿态估计在域内协议下超越了已发表 SOTA并把模型压缩到约 20 KB 的边缘可部署形态但更深刻的结论是WiFi 感知无法对新人/新房间做零样本泛化而一段约 30 秒的室内少样本校准就能同时把姿态与动作两项任务近乎完全拉回可用水平。读完本文你将掌握如何复现与解读该基准的每一张表格、为什么零样本跨被试/跨环境会崩塌、为什么随机冻结编码器 训练读出头能逼近全量训练、以及项目当前已随仓库交付的Python Rust 双实现校准服务的完整用法与参数语义。1. 研究范围与数据协议本文所有数字在RTX 5080上测得评测对象是公开的MM-Fi数据集40 名被试 × 4 种环境、27 类动作、CSI 幅度为[3 antennas, 114 subcarriers, 10 frames]。关键协议术语下文表格反复出现务必先厘清协议含义是否诚实的泛化指标random_split数据集默认按随机比例切分如 0.8/seed 0否——存在时序/被试相邻导致的泄漏见 §3cross-subject官方被试完全隔离零样本是cross-environment零样本房间与被试均未见过是与random_split同协议的数字仅用于和既有论文对齐例如 MultiFormer 报告 72.25% 所用即为同一协议跨被试 / 跨环境数字才是诚实的部署侧指标。数据集边界提示MM-Fi 许可证为 CC BY-NC 4.0仅限 v0 版本使用详见 ADR-149 的许可决策记录不意味着可任意再分发。跨数据集验证使用了同为3×114布局但硬件/实验室不同的 NTU-Fi结论见 §5。2. 姿态估计域内精度与效率前沿2.1 域内精度超越 SOTA度量口径torso-normalized PCK20即 MultiFormer 的 PCK 定义‖pred−gt‖ ≤ 0.2·‖右肩−左髋‖协议为 MM-Firandom_split数据集默认。模型torso-PCK20CSI2Pose此前工作68.41%MultiFormer此前 SOTA202572.25%RuView单模型82.69%RuViewgraph 3-ensemble TTA83.59%架构主线线性投影 →4 层 / 8 头 Transformer作用于 10 个时序 token→时序注意力池化研究文档明确标注这是最大的单点杠杆→ MLP 头 →骨架图细化skeleton-graph refinementCOCO-17 骨架拓扑。诚实性细节值得单独说明论文发表前头部数字曾因宽松的 bbox 归一化被抬高到 91.86%在统一到 torso 度量后自我修正下调为 82.69%才对外发布。这正是该研究拒绝自嗨数字的姿态——对应 ADR-150 §1 所强调的metric- and protocol-matched原则。2.2 效率前沿更小且更准Pareto 支配从micro75 K 参数往上每个模型都同时比此前 SOTA 更小、更准Pareto-dominant一个75,237 参数的模型即可超过 MultiFormer。完整效率曲线见 docs/benchmarks/wifi-pose-efficiency-frontier.md同仓库2026-05-31 实测MM-Firandom_splitratio 0.8 seed 0RTX 5080模型ParamsLatency (batch1)torso-PCK20vs SOTA (72.25%)nano39,9710.126 ms71.76%−0.49比旗舰小 58×micro75,2370.224 ms74.30%✅ 2.05比 SOTA 少 31× 参数即超越tiny210,9490.299 ms76.82%✅ 4.57small348,0050.287 ms77.87%✅ 5.62base726,4370.344 ms79.38%✅ 7.133.2× 更小flagship2,320,869—83.59%11.34已部署精度而非仅参数数才是关键权重量化实测weight-only、per-tensor symmetric精度大小torso-PCK20vs SOTA 72.25fp32294 KB74.73%✅ 2.5int8 (PTQ)73.5 KB74.70%✅ 2.5近似无损int4朴素 PTQ36.7 KB70.21%❌ −2.0跌破 SOTAint4 (QAT)36.7 KB74.46%✅ 2.2恢复且仍超 SOTA诚实的边缘侧结论micro在int873.5 KB74.70%近似无损int4 若用朴素后训练量化PTQ会跌破 SOTA70.21%但量化感知训练QAT能完全恢复至 74.46%。已发布的部署产物为 int4-QATmicro模型仓库研究文档记载其 int4 权重载荷约20 KB、实测部署 int4 精度 74.08%x86 单线程推理0.135 mssha256c03eeb…配套load_int4.py。研究文档同时给出硬件兼容性边界这些测量是数据集级与 x86/GPU 级MM-Fi 张量[3,114,10]本身不等价于可直接跑在 ESP32 捕获节点上——ESP32 推理延迟或实时 ESP32→MM-Fi 适配没有任何声称。架构超参扫描族宽度d、层数L、头数H与训练配方mixup Beta(0.2,0.2)、4-view 测试时增强、EMA、cosine LR详见效率前沿文档其中还记录了一个反直觉负结果flagship→tiny 知识蒸馏无效学生模型从 ground truth 直接训练即可达到同等或更高精度回归式 KD 只是给关键点加了教师噪声。3. 动作识别27 类补上论文没做的基准MM-Fi 论文自身并未对 WiFi-CSI 动作识别做基准测试其 HAR 为基于骨架的 RGB/LiDAR/mmWave 方案。WiFi-CSI-on-MM-Fi 此前唯一的已发表数字是 WiDistill2024的 34.0%ResNet-18split 未说明。RuView 的实测建立了两个协议点协议top-1random_split域内88.08%cross-subject官方零样本10.0%接近随机88% 是泄漏虚高的数字见 §4诚实的跨被试零样本只有约 10%。4. 泛化故事真正的核心结果随机切分的数字被时序/被试相邻性抬高。换成无泄漏协议后WiFi 感知崩塌任务域内cross-subject零样本cross-environment零样本姿态83.6%64%~10%动作88.1%10%—4.1 什么不能弥合差距全部实测、全部为负研究把试图做泛化的常规武器逐一实测并如实报告为负结果CORAL深度特征协方差对齐跨被试无增益跨环境仅有边际 ~17%。DANN被试对抗约 0 增益且损失失衡脆弱。逐天线 instance-norm SpecAugment−4.6摧毁跨天线姿态结构。姿态对比基础预训练pose-contrastive foundation pretraining−2.3且 SupCon 损失从未离开ln(B)随机地板——即同姿态的 CSI 在跨被试间无法对比对齐目标所要求的那个不变性在数据里根本不存在。知识蒸馏旗舰→tiny无增益直接训练胜出。增加训练被试饱和——4→8 名被试 21 分但 24→32 只 0.45 分渐近线约 64%。唯一对跨被试有微弱帮助的是mixup TTA ensemble且不足 1 分。该差距是根本性的分布偏移不是可调的算法性差距。这正是 ADR-150 §3.2 里把原先近端 5~12 分的预训练估计实测证伪的同一组实验姿态对比预训练损失在 K∈{48,256} 聚类粒度、batch∈{768,1024}、3 个 seed 下全部贴住 uniform-similarity 地板ln(B)同一编码器却能把时序相邻帧对齐到 82%说明优化器正常工作它只是无法把不同被试的同姿态 CSI 拉到一起。ADR-150 由此把被试缩放研究重新导向追求房间/设备/天线几何的多样性而非人头数详见 ADR §3.3 的被试饱和曲线。4.2 什么能弥合少样本室内校准来自真实部署房间的少量带标注帧能恢复大部分差距——而且零样本差距越大、少样本收益越大未见过的房间是一个连贯的整体域偏移少量帧即可钉住它校准样本/被试姿态 cross-subj姿态 cross-env动作 cross-subj0零样本64%~10%10%5—60%13%5070%70%36%20076%73%59%100078%75%76%确认跨任务通用同样的模式在姿态回归与 27 类动作分类上完全一致动作比姿态需要更多校准样本——分类对校准量更饥渴。少样本室内校准是 WiFi 感知部署的通用机制而非姿态任务的独有结论。4.3 可部署为约 11 KB 的适配器全量微调意味着每房间一份 2.3 MB 模型拷贝。一个rank-8 的 LoRA 适配器约 11 KB能以 0.5% 的体积恢复大部分增益。实测校准数据预算约 100–200 个带标签样本拐点在约 50 → 70%低于约 20 个可能反而有害。校准方法 200 样本PCK20adapterLoRA rank-872.5%~11 KBhead graph only72.7%119 KBfrozen-trunk73.5%207 KBfull finetune76.2%2.3 MB注上表来自 ADR-150 §3.5 的 K200 对照LoRA rank-8 训练参数 11,200对应约 11 KB int8 / 22 KB fp16。5. 校准服务已随仓库交付的双实现该机制已端到端落地仓库内可直接查看与运行aether-arena/calibration/Python 参考实现calibrate.py从一段带标注片段拟合适配器并记录了在未见过的 MM-Fi 房间 E04 上从零样本 3.09% → 200 样本校准后 74.29%71 分的验证演示Rust 产品引擎cog-pose-estimationInferenceEngine::with_adapter()、run --adapter room.safetensors对姿态头做架构无关的 LoRA且已测试。5.1 工作原理冻结一份共享baseTransformer 时序注意力池化 骨架图头即已发布模型ruvnet/wifi-densepose-mmfi-pose再为每个房间拟合一份极小的LoRA 适配器rank 8挂在输入投影与姿态头上11,200 参数 ≈ 11 KB int8 / 22 KB fp16。数以千计的房间适配器挂在同一份 base 上每个房间只需一次约 30 秒的带标签采集。5.2 使用方式可直接运行# 1) 在部署房间采集一小段带标注片段 - calib.npz {X:[N,3,114,10], Y:[N,17,2]} # 推荐 ~100–200 样本低于 ~20 时适配器可能劣于零样本 # 2) 拟合房间适配器~11 KB python calibrate.py --base pose_mmfi_best.pt --data calib.npz --out room.adapter.npz # 3) 运行校准后的推理base 房间适配器 python infer.py --base pose_mmfi_best.pt --adapter room.adapter.npz --data frames.npz --out kp.npy # 省略 --adapter 即运行未校准零样本base张量契约X为 CSI 幅度[N, 3 antennas, 114 subcarriers, 10 frames]内部会做 per-sample 标准化Y为[N,17,2]的 COCO 关键点取值在[0,1]。输出[N,17,2]关键点。5.3 CLI 参数语义对照源码calibrate.py的可调参数aether-arena/calibration/calibrate.py如下理解其语义比盲跑更有价值参数默认作用--base必填共享 base 检查点如pose_mmfi_best.pt--data必填带标注校准.npz含X、Y--out必填输出的适配器.npz--rank8LoRA 秩秩越高越准、体积越大--iters600拟合迭代数--lr8e-4AdamW 学习率--device自动cuda/cpu计算设备源码细节补充三点与可复现性直接相关安全加载base 以weights_onlyTrue经load_state_dict(strictFalse)载入checkpoint 是张量状态字典绝不触发 pickle 对象加载——这是注释中明确的安全边界LoRA 冻结规则requires_grad只对*.A/*.B参数打开其余全冻结损失为SmoothL1Loss(beta0.1)训练中带轻量增强子载波 dropout 0.15 噪声与训练期正则一致样本数 20会打 Warning低于约 20 个样本时适配器可能劣于零样本保存格式只导出 LoRA 的 A/B 张量lora_state()以 fp16 落盘约 22 KB注释说明量化为 int8 后为约 11 KB 的 on-device 形态并写入_metarank / 样本数 / 可训练参数数元数据。模型定义见 aether-arena/calibration/model.pyLoRA包装冻结的 Linear前向为y base(x) (x·A·B)·(alpha/r)其中A初始化为零、B以 std0.02 正态初始化、scale alpha/r 16/8GR骨架图细化对 17 个关节点做两次图传播后以kp0 0.3·tanh(...)输出解剖一致性的修正standardize()即训练/推理共用的 per-sample 标准化。5.4 两个模型、两个生产者不可互换适配器是模型专属的。仓库同时提供了两个校准生产者张量形状与适配器文件格式都不同生产者目标模型输入适配器格式消费者calibrate.pyMM-Fitransformerpose_mmfi_best.pt3×114×10[N,3,114,10].npzproj/head的 LoRAPythoninfer.pycog_calibrate.pycogconvMLPpose_v1.safetensors56×20[N,56,20].safetensorsfc1.a/fc1.b/fc2.a/fc2.bRustcog-pose-estimation run --adapter# 产出 cog 格式的房间适配器X:[N,56,20]Y:[N,17,2] python cog_calibrate.py --base pose_v1.safetensors --data cog-calib.npz --out room.safetensors # 然后在 cog 运行时中加载 cog-pose-estimation run --config cfg --adapter room.safetensorsLoRA机制相同ADR-150 §3.5但架构与关键点布局不同——一个生产者产出的适配器无法载入另一个模型。cog_calibrate.py 的 convMLP 结构3 层膨胀卷积 56→64→128→128 平均池化 fc1/fc2输出经 sigmoid镜像了 Rust/Candle 侧的PoseNet与 safetensors key 命名并把scale alpha/rank烘焙进b张量。5.5 校准预算与使用边界实测校准预算rank-8 LoRA、3 seedsADR-150 §3.5校准样本/房间cross-subjectcross-environment0零样本64%~10%5—60%2066%66%5070%70%20072%73%拐点约在 50 样本~70%低于约 20 个样本适配器可能反而有害拟合不稳。两条关键边界源自 校准 README 的 Notes只有当 base 没在部署房间上训练过时校准才有意义。已发布的旗舰模型是用 MM-Firandom_split训练的拿它对 MM-Fi 被试校准近乎无效它已经见过这些人要复现未见房间 E043.09% → 74.29%的演示须先训练一份 source-only base排除目标环境见 ADR-150 §3.6校准服务两个生产者都要求CSI 与关键点标签配对且张量形状、适配器文件均为模型专属ADR-027 的自动、无标签、10 秒 MERIDIAN 校准仍处于Proposed状态没有以端到端部署命令的形式实现——校准 README 明确区分了这两者。5.6 端到端回归测试佐证仓库随附了自包含的回归测试 aether-arena/calibration/test_calibration.py纯 CPU、合成数据、无需真实 checkpoint跑通calibrate.py→ 适配器落盘断言体积 200 KB、含 LoRA A/B 张量→infer.py断言输出(16,17,2)、有限值、取值[0,1]→ 断言适配器确实改变了输出与零样本 base 的绝对差 1e-4。另有用例覆盖 cog 校准可python test_calibration.py直接运行。这个测试的价值在于把适配器是模型专属且真实生效变成可自动验证的契约。6. 诚实的局限避免读者误用大多数泛化数字都在 MM-Fi 内部一个数据集、一套硬件配置。跨数据集迁移用NTU-Fi HAR同样的 3×114 布局、不同实验室/硬件/房间测过MM-Fi 训练的表征不能带来正向迁移——冻结的 MM-Fi trunk 探到 NTU-Fi 为 91.5%并不优于随机特征93%全量微调75%甚至不如线性探针。CSI 表征是分布锁定的与被试/环境崩塌同根同源实用答案是就地训练/少样本而非可迁移的零样本特征。补充说明NTU-Fi 的 6 类粗粒度活动是易目标随机特征即达 93%对表征质量的压力弱但在更难的NTU-Fi-HumanID14 类步态人 ID、随机基线 7.1%上重跑结论相同MM-Fi 预训练 91.7% ≈ 随机 92.8%。统一根因CSI 的域内分类本质活在目标训练过的读出头里3,420 维 CSI 的随机 256 维投影就已线性可分而学习到的表征无论跨被试、跨房间还是跨数据集都无法迁移。WiFi-CSI 感知是分布锁定的答案是在目标域做少样本校准而不是追求可迁移特征。一个更难的跨数据集姿态基准相对分类而言仍是唯一未做的开放变体。random_split 数字仅用于与既往工作的同协议对齐它们属域内且部分泄漏。cross-subject / cross-environment 才是诚实的数字。动作识别精度是window 级MM-Fi 自己的 HAR 实验是 clip 级不能直接与序列级报告比较。端侧ARM/Hailo延迟待硬件就绪当前代理指标是 x86 单线程 CPU 延迟0.135 ms。7. 复现入口研究文档mmfi-wifi-sensing-study.md §6所列复现脚本包括姿态侧train_save.py旗舰、train_efficiency_pareto.py、quant_micro.py、train_fewshot_adapt.py、train_adapter_calib.py动作侧train_action.py、train_action_fewshot.py校准服务为aether-arena/calibration/。完整实证链条与决策记录见 ADR-150 §3.2–3.6效率前沿复现模型族超参与量化对照见 wifi-pose-efficiency-frontier.md。排行榜与见证账本由 AetherArenaADR-149承载其打分底层复用 ADR-145 的消融评估pose/存在率/边缘延迟/确定性与 ADR-011 的确定性 SHA-256 见证机制使任何提交可复现、防篡改。仓库当前可直接运行、无需额外训练数据的复现路径是 §5 的校准服务含自带回归测试。训练侧脚本staging 等属研究文档所指向的独立训练流程本文不展开为仓库内可点击路径当前仓库内开箱可复现的实证资产是aether-arena/calibration/的 Python/Rust 校准服务与其测试。8. 最尖锐的结论编码器几乎不重要用随机冻结的 Transformer 编码器 训练过的姿态头可以追平全量训练编码器到 2–4 分以内跨被试甚至 2 分姿态协议全量训练编码器随机冻结编码器 头域内78.2%73.8%cross-subject63.9%62.1%同为公平对照配置绝对值低于 83.6% 旗舰——差值才是要点。几乎全部任务信号都在读出头里姿态头 基于随机高维 CSI 投影的骨架图细化而不是在学到的编码器里。这一条统一解释了整份研究几乎没有可迁移的学习表征所以跨被试/环境/数据集全部崩塌、基础编码器失败而逐房间校准之所以有效正是因为它重新拟合了信号真正所在的读出头。实用启示对 WiFi-CSI 感知而言把算力花在读出头 逐房间校准上而不是昂贵的编码器预训练上。这与效率前沿还能再压一个数量级见 wifi-pose-efficiency-frontier.md叠加后勾勒出 RuView 的完整部署哲学一份共享 base 每房间约 11 KB 的 LoRA 适配器 约 30 秒现场采集任何新房间/新人即可达到 SOTA 级精度——零样本不变性不是部署答案少样本校准才是。9. 延伸阅读仓库内泛化研究与校准机制的完整决策记录与实测链条docs/adr/ADR-150-rf-foundation-encoder.md姿态模型的精度-体积前沿与 int4/int8 量化实测docs/benchmarks/wifi-pose-efficiency-frontier.md校准服务 README双生产者、预算表、边界条件aether-arena/calibration/README.md校准服务实现与测试aether-arena/calibration/calibrate.py、aether-arena/calibration/model.py、aether-arena/calibration/infer.py、aether-arena/calibration/cog_calibrate.py、aether-arena/calibration/test_calibration.py排行榜/见证账本设计docs/adr/ADR-149-public-community-leaderboard-huggingface.md【免费下载链接】RuViewπ RuView turns commodity WiFi signals into real-time spatial intelligence, vital sign monitoring, and presence detection — all without a single pixel of video.项目地址: https://gitcode.com/GitHub_Trending/wi/RuView创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考