基于「YOLO目标检测 + 多模态AI分析」的公共场所暴力安全智能检测分析预警系统

一、项目演示视频b站演示视频与部署教程视频(点击这里)https://www.bilibili.com/video/BV1qHtR69E1p/?share_sourcecopy_webvd_source31c839f46a9a845dd6dd641cbd5c2ac1项目简介本项目是一个基于人工智能技术的公共场所暴力安全智能检测分析预警系统旨在通过先进的计算机视觉技术和深度学习模型为商场、地铁站厅、校园广场、街区步行区等公共场所提供智能化的暴力行为识别、安全异常分析与预警服务。系统集成了图片检测、视频检测、RTSP多路实时监控、模型管理、数据集管理等多项功能构建了一个完整的公共场所暴力安全检测与预警服务平台。项目链接公共场所暴力安全智能检测分析预警系统(YOLO检测_多模态大模型分析)链接: https://pan.baidu.com/s/15bKt7FhkQaFcER3gdwOpBg?pwdg3gc 提取码: g3gc二、技术栈前端技术栈 (web-vue)核心框架: Vue 3.5.13 (Composition API)UI组件库: Element Plus 2.9.4状态管理: Pinia 2.3.1路由管理: Vue Router 4.5.0HTTP客户端: Axios 1.7.9图表可视化: ECharts 5.6.0视频播放: flv.js 1.6.2构建工具: Vite 6.1.0 TypeScript 5.7.2后端算法端技术栈 (web-flask)核心框架: Flask (Python)数据库: SQLite 3身份认证: JWT图像处理: OpenCV NumPy深度学习: YOLOv8/YOLO11/YOLO12/YOLO26视频处理: OpenCV视频流处理实时监控: RTSP多路视频流拉取与分析大模型编排: LangChain暴力安全助手流式问答大语言模型: Qwen-VL的API接口三、功能模块核心创新点目标精准检测支持暴力行为violence与非暴力nonviolence2类目标的智能识别和定位多模态检测方式支持图片、视频、RTSP多路实时监控三种检测模式YOLO模型集成集成YOLOv8/YOLO11/YOLO12/YOLO26等先进目标检测模型智能预警分析基于AI的公共场所暴力安全异常自动识别、定位与分级预警分层权限管理支持管理员和普通用户的差异化功能访问完整工作流程从数据集管理到模型管理再到检测分析预警的完整闭环多模态大模型辅助分析使用通义千问VL多模态大模型提供三大场景的AI分析能力图片检测中对公共场所场景进行结果评估场景正常/存在冲突风险/疑似暴力行为/异常聚集/疑似误检等结论详细场景分析监测处置建议生成支持用户填写补充信息引导分析视频检测完成后对关键帧手动触发AI诊断发现异常/未见异常实时监控中对YOLO检测到的目标进行实时暴力安全异常诊断模型评估系统支持上传YOLO格式标签与模型预测对比自动计算Precision、Recall、mAP50等精度指标生成GT框与预测框的可视化对比图支持用户评分和评语实时预警系统支持ByteTrack多目标跟踪、虚拟检测线目标过线统计累计过线/近1分钟过线、严重程度分级(可忽略/轻微/中等/严重/紧急)、AI异常诊断(发现异常记录报警/未见异常仅记录/未开启诊断不记录)、处理状态管理核心功能模块用户管理支持用户注册、登录、权限管理、个人信息管理等功能数据集管理支持上传ZIP格式YOLO数据集自动验证数据集结构和完整性模型管理支持创建模型、上传权重、训练过程图片/文件管理、模型发布等图片检测上传图片进行暴力行为/非暴力目标检测支持CLAHE图像增强、AI场景分析结果评估详细分析支持用户补充信息、监测处置建议生成、导出Word报告视频检测上传视频进行逐帧检测支持帧率采样、异步处理、进度查询、关键帧截图保存、对关键帧手动触发AI诊断发现异常/未见异常实时监控接入多路RTSP摄像头进行实时检测虚拟检测线目标过线统计累计过线/近1分钟过线、会话级智能去重、AI异常诊断发现异常记录报警/未见异常仅记录/未开启诊断不记录、严重程度五级分级(可忽略/轻微/中等/严重/紧急)、处理状态管理(未处理/已处理)、实时通知预警、多维度筛选(用户/严重程度/诊断结果/处理状态)模型评估上传图片和标签文件评估模型性能支持精度指标计算、可视化对比、用户评分筛选应用场景商业综合体监测商场中庭、步行街区等客流密集区域的暴力行为识别与安全观察交通枢纽与地铁站厅站厅、进出站口场景下的冲突与异常聚集辅助分析校园与文体场馆广场、看台、公共区的人员行为监测与异常预警安防指挥与值守中心为管理人员提供图像记录与暴力安全异常参考四、项目内容完整系统源码(1)前端源码(web-vue)(2)后端算法端源码(web-flask)(3)模型训练代码(other/model_train/detect)项目启动教程(1)环境安装教程(视频文档)(2)系统启动教程(视频文档)项目介绍文档(1)项目概述(2)项目技术栈(3)项目目录结构(4)核心功能模块介绍(5)API接口文档系统PPT(1)系统架构图、架构交互图(2)算法模块流程图(3)图片、视频、实时检测时序图(4)数据流图(5)UML类图(6)功能模块概要图、功能模块图(7)数据库ER图(8)训练过程图(9)验证指标图(10)验证效果图系统使用注意事项模型训练文档数据库开发文档(1)数据库概述(2)数据库表详细设计结构(3)建表SQL语句系统文档(1)介绍(2)相关技术与理论(3)系统需求分析(4)系统总体设计(5)系统设计与实现(6)模型训练与性能评估(7)系统测试公共场所暴力安全检测数据集(1)总样本数23045张公共场所行为场景图片(2)训练集18000张图片 (用于模型训练)(3)验证集2438张图片 (用于模型验证和性能调优)(4)测试集2607张图片 (用于模型最终性能评估含3596个目标实例)(5)检测类别: 2类目标检测0: violence - 暴力行为1: nonviolence - 非暴力已经训练好的模型权重整体精度如下(1)precision (精确率): 0.801(2)recall (召回率): 0.879(3)mAP50 (IoU阈值0.5时的平均精度): 0.902(4)mAP50-95 (IoU阈值0.5-0.95的平均精度): 0.691(5)violence mAP50 (暴力行为类别): 0.931五、系统主要功能截图