做了多年数字标牌Signage我早就习惯了一个状态客户永远在提需求播放盒的硬件永远是那几款老配置。早几年大家关心的只是“能不能解码4K”后来开始问“能不能做远程发布”再后来几乎每一个项目方都会加一句“能不能顺便统计一下客流能不能判断广告有没有人看”这类需求放在云端做其实不难但广告机分布在商场、门店、电梯网络环境参差不齐一断网AI就变废铁。把推理放到本地又面临一个老问题播放器的CPU本来就要负责解码和渲染再跑模型很容易直接把播放卡死。我们最终选了一条比较冷门但实际效果很好的路给Signage Player加上Intel AI VPU支持用VPU承担AI推理把CPU和GPU资源全部留给播放主流程。这篇文章把整个改造过程、码出来的坑、以及最终的调优结果都记录下来给同样想搞边缘AI播放器的同行一个参考。1. 项目背景与方案选型1.1 客户真实需求与播放器现有压力客户的原始需求很朴素两万块屏分布在全国几十个城市的连锁门店希望广告屏能自动识别屏幕前是否有人、停留多久并把这些数据回传总部。同时如果检测到屏幕前出现多人围观自动切换为互动广告。注意这里的人脸检测只需要知道“有没有人、大概几个人”不需要识别人脸身份这样也躲开了大量隐私合规问题。播放器端的现状是CPU是一颗老款的x86低功耗处理器内存4GB之前跑一个Windows播放客户端负责视频循环播放、图片轮播、远程指令接收和屏幕亮度策略。负载已经不小如果直接在CPU上跑目标检测模型从经验上看播放进程很容易出现丢帧严重时还会导致系统看门狗重启。所以整个方案的第一原则是AI推理不能抢占播放主进程的CPU资源至少不能长时间占满一个核心。1.2 为什么选Intel AI VPU而不是GPU或纯CPU一开始考虑过小GPU例如NVIDIA Jetson但被成本和功耗卡住了。播放器本身的硬件是客户已经批量采购的x86盒子不能整个换掉。外接独立GPU又带了供电和散热问题一个广告屏现场根本没有空间放一个带风扇的独立显卡。Intel AI VPU在当时的定位正好补了这个空档。我们测试过第一款方案是Movidius Myriad X通过USB 3.0连接整板功耗只有1W到2W峰值算力可以跑到1 TOPS左右。不要小看这个算力对一个经过裁剪的人体检测模型来说已经足够做到每秒10帧以上的推理。而播放器只需要每秒取一帧做检测完全够用。更重要的是Intel的OpenVINO工具链对这类VPU支持非常完善模型从TensorFlow或PyTorch转成IR格式后调用方式基本一致。这意味着我们可以先在自己的开发机上用普通CPU调试最后切换设备类型到VPU就行不需要单独写一套推理代码。1.3 整体方案架构与数据流设计改造后的Signage Player实际上跑了两条并行业务线播放链视频源解码、画面渲染、窗口合成、广告计划调度这一条线保持原样。推理链从播放链的帧数据中定期抽帧经过预处理后交给VPU推理推理结果写回共享内存再由播放控制模块决定是否切换广告内容。这两条线之间不能直接耦合。我们最初的设计是播放器每帧都调用AI接口结果一旦模型初始化变慢整个播放循环都被阻塞。最终改成播放链和推理链通过生产者消费者队列交互播放线程只把帧指针塞进队列后立即返回推理线程拿到帧后做格式转换和推理。队列长度固定为3满了就丢帧绝不阻塞播放线程。这样的数据流设计直接决定了整个系统在压力下的表现VPU忙的时候最多丢掉一些检测帧但广告画面不会卡。对数字标牌场景来说“画面流畅”比“每一帧都检测”重要得多。2. 硬件环境与开发环境搭建2.1 必要的硬件清单与选型建议我在这个项目里实际使用的硬件如下部件型号/规格用途播放器主板低功耗x86工控板四核CPU支持VT-x承载系统与播放客户端VPU加速卡Intel Movidius Myriad X 神经计算棒2代接USB 3.0承担AI推理内存4GB DDR4系统运行存储64GB SSD系统与广告素材显示器1080P商用屏输出广告画面如果你打算在新项目里选型注意VPU尽量接在USB 3.0接口上USB 2.0虽然也能用但传输帧数据的时间明显变长推理吞吐会下降20%左右。另外部分工控板的USB口供电不稳神经计算棒工作一段时间后会掉线最好通过带供电的HUB连接或者选带独立供电的USB口。2.2 OpenVINO工具链安装与版本陷阱OpenVINO是连接应用和VPU的桥梁。这个项目用的版本是2022.3 LTS之所以没用更新的版本是因为后续几个版本对Myriad X的支持策略有调整在旧设备上出现过兼容性问题。如果你也是老VPU建议优先选择带LTS标记的稳定版本。安装过程不复杂但有一个坑必须提醒不要直接 pip install openvino 就完事因为Python的openvino包默认不带VPU插件。正确做法是安装完整的OpenVINO Runtime并确认开放式。在Ubuntu下比较稳的安装方式wget https://storage.openvinotoolkit.org/repositories/openvino/packages/2022.3.0/linux/l_openvino_toolkit_ubuntu20_2022.3.0_1.tgz tar -xzf l_openvino_toolkit_ubuntu20_2022.3.0_1.tgz cd l_openvino_toolkit_ubuntu20_2022.3.0_1 sudo ./install_dependencies/install_openvino_dependencies.sh source /opt/intel/openvino_2022/setupvars.sh安装完成后先用官方工具检测设备是否可用这一步能提前暴露90%的环境问题python3 -c from openvino.runtime import Core; c Core(); print(c.available_devices)如果输出里出现 GPU、CPU但没有 MYRIAD说明插件没装全或者VPU设备没被系统识别。先查设备节点lsusb | grep 03e7这里的03e7是Intel VPU的USB Vendor ID如果看不到先检查USB线缆和供电而不是急着重装驱动。2.3 模型转换与部署格式选择播放器上的模型必须转成OpenVINO IR格式不能直接跑TensorFlow的pb文件或PyTorch的pt文件。转换过程可以在开发机上完成产出的.xml和.bin文件再拷贝到播放器。我用的原始模型是一个针对边缘设备优化过的人体检测模型输入分辨率是416x416。转成IR的主要命令如下python3 /opt/intel/openvino_2022/tools/model_tools/downloader.py --name person-detection-0200 python3 /opt/intel/openvino_2022/deployment_tools/tools/model_downloader/converter.py --name person-detection-0200这个模型是从Open Model Zoo下载的好处是已经适配过VPU输出格式明确省去自己解析的功夫。如果你要用自己训练的YOLO模型可以参考YOLO官方提供的OpenVINO导出脚本转换后要注意输出层的解析方式。模型转换中的一个核心参数是--data_typeFP16。VPU对FP32模型支持不友好FP16不仅推理速度快内存占用也会少一半。实测同样一个模型FP16比FP32在Myriad X上快接近40%。所以如果你发现VPU推理很慢先别怀疑算力检查一下模型是不是FP16格式。3. 核心实现播放器如何与VPU协同工作3.1 播放线程与推理线程的解耦逻辑这部分是整个项目的核心也是最容易翻车的地方。很多第一次做AI播放器的人会犯同一个错误在视频渲染的回调里直接做同步推理结果模型一次推理要80毫秒播放器帧率直接从60帧掉到12帧。我的做法是建一个只保存帧引用的循环缓冲播放线程在每次渲染前拷贝一帧当前画面置入缓冲区推理线程从这个缓冲里取帧再做缩放、格式转换和推理。伪代码如下import queue import threading frame_queue queue.Queue(maxsize3) def player_render_callback(frame): if not frame_queue.full(): frame_queue.put(frame.copy()) # 播放逻辑继续执行不等待推理结果 def inference_worker(): while True: frame frame_queue.get() resized preprocess(frame) # resize到416x416BGR转RGB result compiled_model([resized])[output_layer] postprocess(result)注意队列满了之后直接丢帧这是有意为之。在播放器场景里检测结果本身有延迟完全没关系我们最终关心的是一段时间内的人流量趋势而不是精确到每一帧的检测框。3.2 从OpenVINO Runtime创建VPU推理会话模型加载到VPU上的代码比较简单但有些参数会直接影响稳定性。from openvino.runtime import Core core Core() model core.read_model(person-detection-0200.xml) compiled_model core.compile_model(model, MYRIAD, config{})这里没有指定任何config参数实际上有几个建议加上VPU_POWER : 0表示不强制VPU高性能而是保持低功耗稳定运行。VPU_NUMBER_OF_SHAVES : 1如果模型较小使用1个SHAVE可以减少内存和发热。VPU_FORCE_RESET : YES在设备长时间运行后强制复位避免死锁。如果你发现连续跑几天后VPU响应变慢可以考虑在每次启动客户端时执行一次设备复位通过OpenVINO的set_property接口core.set_property(MYRIAD, {VPU_FORCE_RESET: YES})这个操作对长时间无人值守的播放器非常重要广告机不可能三天两头有人去现场重启设备。3.3 播放器画面抽帧的高效姿势播放器用的底层库是FFmpeg加自研渲染引擎。抽帧不是在渲染之后从GPU回读而是在解码环节用av_frame_clone拿一份帧数据不需要经过屏幕采集效率高很多。AVFrame *cloned_frame av_frame_clone(frame); // 把 cloned_frame 送入推理线程从解码环节抽帧的好处是即使在多窗口显示的时候画面没有被屏幕合成覆盖得到的是真实播放内容。如果从HDMI输出端回采还需要额外处理HDCP等加密问题得不偿失。抽帧频率一般设置为每秒1帧或者每解码30帧抽1帧。人流量统计用1秒1帧已经足够过高反而会让VPU排队拥堵造成检测延迟积累。3.4 推理结果如何影响播放策略在传统播放器里广告计划的切换要么按时间表要么按遥控器指令。加入AI之后我们加了一个“热力切换”逻辑当连续3秒检测到屏幕前的人数超过设定阈值就执行广告切换当人数长时间为0则回到默认广告列表。实现上不复杂推理线程只是把人数计数写入一个结构体struct ai_result { int people_count; uint64_t timestamp_ms; };播放控制线程每500ms读取一次这个计数再叠加一个低通滤波防止瞬时抖动。这里有个细节必须加迟滞阈值。比如设定人数大于2时切换人数小于1时才切回否则人数在2和1之间来回跳广告会频繁切换非常影响体验。3.5 多路视频与多VPU的扩展方式有些使用场景需要一台播放器同时管理两个屏幕每个屏各有独立广告位。此时一个VPU的算力可能不够。我们做的扩展方案是给机器插两个神经计算棒OpenVINO会把它们枚举成MYRIAD.1和MYRIAD.2。两个VPU各自绑定一路视频源互不干扰。compiled_model_1 core.compile_model(model, MYRIAD.1) compiled_model_2 core.compile_model(model, MYRIAD.2)注意不是所有主板多个USB口都能同时稳定挂VPU实测一些USB控制器会把两个VPU分配在同一条总线上导致总带宽不够。选主板时尽量挑支持USB控制器分离的型号最好两个口分别来自不同控制器。4. 性能测试结果与调优实录4.1 不同推理配置下的性能对比我们在实际播放1080P视频的同时对以下三种配置做了对比测试配置CPU占用率推理帧率播放丢帧情况整机功耗纯CPU推理Intel HD核显46%8 FPS偶发掉帧24WVPU推理FP32模型18%12 FPS无19WVPU推理FP16模型17%18 FPS无19W从结果看VPU最大的收益不是把推理帧率提高了多少而是把CPU占用率降下来了。纯CPU推理时播放进程和检测进程互相抢资源丢帧不可避免而VPU接入后CPU占用率降到合理区间播放画面始终稳定。功耗方面VPU方案比纯CPU方案还低了5W左右因为CPU不再满负荷跑模型整体发热也小了。4.2 长时间稳定性与温度表现数字标牌设备在商场环境中经常7x24小时运行稳定性优先级高于单次的推理性能。我们做了一个72小时压力测试循环播放4K视频同时持续执行人群检测每2小时记录一次设备温度和VPU状态。测试中发现VPU表面温度稳定在55到60摄氏度之间没有过热保护。真正的问题是内存泄漏。播放器主进程每处理1000帧会增加约2MB内存48小时后内存占用从400MB涨到了700MB虽然还不至于崩溃但对长期运行来说是个隐患。排查后定位到是推理结果后处理时我们用来保存检测框的容器在单例类中不断累加没有清空。修正后连续运行72小时内存曲线平稳。4.3 与云端推理方案的成本对比做这个项目之前客户也咨询过纯云端方案摄像头或播放器把视频帧上传到云服务器识别完再返回结果。简单一算就否掉了项目云端方案边缘VPU方案网络依赖断网即失效完全离线可用单次识别延迟200-500ms50-80ms每月带宽成本每点位约30元0元数据隐私视频内容经过第三方本地处理不出设备虽然云端方案的识别精度通常更高但在数字标牌这种长尾分布的场景网络的不可靠性会直接让广告互动变成零。VPU方案把识别延迟压到100毫秒以内现场互动基本无感。4.4 一个意外收获VPU空闲时的资源复用接入VPU之后我们还发现一个额外好处广告机在非营业时间比如商场打烊后完全没有人流此时VPU几乎全空闲。于是我们在播放器后台加了一个低优先级任务利用这段空闲时间对播放器本地存储的广告素材做质量分析比如检测有没有模糊图像、字幕超边界然后生成报告上传给运维中心。这个功能原本需要专门的质检工具在办公室完成现在直接用现场播放器的闲置算力就把巡检做了。VPU不忙的时候干点杂活不仅不增加成本还节省了运维流程。5. 常见问题与排查方案5.1 VPU设备无法识别现象lsusb看不到03e7设备或者OpenVINO返回Not found。排查步骤先换一个USB口尽量从机箱后置USB口连接。查看系统日志dmesg | tail -50如果看到powered down字样多半是供电不足。如果使用USB HUB换成带独立供电的HUB。在Windows设备管理器里看有没有黄色感叹号的未知设备如果有下载Intel官方驱动手动安装。我们遇到过最离奇的情况是主板BIOS设置了USB节能模式设备在系统空闲时被自动挂起导致推理偶尔超时。进BIOS关闭USB自动挂起后问题彻底解决。5.2 模型转换后推理结果全为空现象OpenVINO能正常推理但没有检测框输出。常见原因是原始模型预处理方式不对。比如CRNN还是YOLO不同模型的输入格式要求差异很大。我们使用的person-detection-0200模型要求输入是BGR顺序U8类型而另一个模型要求RGB顺序。在代码里写死一种格式就会出问题。排查办法是先用Open Model Zoo附带的测试脚本跑同一个模型确认设备没问题再逐段对比自己的预处理代码。5.3 推理线程偶发死锁现象播放器运行正常但AI功能停止更新过一段时间后自动恢复或必须重启。这个问题的元凶往往是VPU的固件在长时间运行后进入异常状态。最初我以为是代码死锁后来通过定时打印线程栈发现线程卡在了InferRequest.start_async()的等待调用里。解决办法是周期性检查推理结果的时间戳如果超过5秒没有新结果就调用core.set_property(MYRIAD, {VPU_FORCE_RESET: YES})强制复位设备并重新compile一次模型。把这个操作封装成自动恢复逻辑后死锁问题再也没有出现。5.4 常见错误速查表错误信息可能原因解决方案Can not init Myriad device供电不足或固件损坏更换USB口/重刷固件Failed to create InferencePluginOpenVINO版本与VPU插件不匹配换成LTS版本并补装插件GetSupportedConfig failed设备被其它进程占用重启播放器或检查是否有旧进程残留Network output shape is not expected模型输出解析代码错误核对模型输出层shapeInference took 2000ms模型FP32或VPU老化重新导出FP16模型6. 最后的一点个人体会这个项目从立项到落地大概用了两个月真正写业务代码的时间不多大量时间花在调试VPU和播放器之间的资源竞争上。如果让我重新做一次我会在一开始就把“AI推理独立线程 缓冲队列 自动复位”这三个框架性的东西定下来而不是先写模型推理再补播放器适配。另外Intel VPU并不是万能的它对模型规模的限制很明显。一旦你的模型要求检测类别超过20个或者输入分辨率超过640x640Myriad X就会显得有些吃力。如果你的项目对模型的复杂度要求更高现在更合理的选择可能是Intel新一代集成NPU的处理器或者Arc系列独立显卡。但思路是通用的播放器主业务和AI推理必须分层边缘设备上的资源永远要优先保播放的稳定。数字标牌的未来一定不只是“播放”而是“感知”。VPU这类低功耗推理单元让普通广告机也能具备边缘AI能力而且不用大改硬件。希望这篇文章能帮到正在折腾同样问题的朋友。
