AI智能视频分析系统
一、系统概述
煤矿Al智能视频分析监控系统是以Al图像智能识别技术为核心、通过人工智能深度学习技术学习总结大量煤矿井下摄像仪的视频图像数据的规律，实现对井下实时视频画面自动检测分析，并作出提示、报警、控制等动作。
煤矿生产环境复杂，“人、机、环”安全状态的不确定性，给传统基于人工监测的手段带来巨大挑战。本产品面向煤炭企业用户，提出基于“云、边、端”架构和机算机视觉技术的定制化实时视频智能识别范式，实现了“感知、预警、溯源、管理”的闭环。解决了传统监测手段人工成本高、时效性差、无法量化的难题。
二、系统特点
1.自主创新研发深度学习算法
平台采用自主创新研发适用于煤矿图像识别的卷积神经网络算法、深度残差神经网络算法、在线学习提升模型等，并结合动态分析预测模型和多冗余自学习决策机制，实现智能图像分析、目标跟踪识别以及重大危险源辨识预警，满足特定场景下识别率≥99%、准确率≥99%。
2.自主推流、免插件访问
平台根据摄像头通用视频协议，服务器进行视频流获取解析并进行推流到标准websocket协议客户端。客户端通过标准通用协议进行访问、并实现视频流实时显示、抓拍、录像等功能。因此就不需要，基于摄像头本身客户端插件实时显示视频、抓图等功能。从而实现自主推流、免客户端插件安装，使用效率更高、更便捷、更友好。此外，还针对主流监控设备厂家的摄像仪、硬盘录像机进行了专项适配，使得视频流更加流畅、实时和清晰。
3.视频智能存储
系统中如检测到画面长时间静止不动，则会自动停止录制视频，相较于24小时不间断的录像，我们的软件大大减少硬盘存储压力，并提高查找视频的效率。此外，软件直接提供用户方便的视频查询与播放功能，无需繁琐的浏览文件和额外的播放器，方便用户查看以往视频记录。
4.智能检索功能
平台支持视频配置接入、视频监控、异常分析存储等常用功能。支持关键词对视频进行检索。随着视频数据和视频标签信息的积累，提供基于人工智能技术的智能视频分析功能，提供的视频标签信息智能地对视频内容进行学习，实现对视频的智能分类管理和根据视频内容的智能检索功能。
5.多系统融合联动功能
平台支持多系统融合联动功能，可以对精确定位数据进行深度应用，结合精确定位数据可以在监控中标识人员和设备的信息，配合Al智能云台变焦摄像机可以实现智能追踪功能，在必要情况下可以联动相关系统的报警和控制设备。
三、系统组成
四、系统应用场景
1、皮带运输分析
皮带运输分析是为了解决现场井下皮带运输时的监控巡查问题。在皮带运输中，因从安全角度考虑，皮带流开启遵循自后向前，关闭遵循自前向后，严重影响生产效率，浪费电力资源。本产品通过对皮带的视频分析，可自动实现皮带的煤流量、流速检测，提供皮带开停建议，实现提高生产效率、降低生产成本的功能。
主要功能是实现在视频监控的基础上实现实时煤流量的自动监测，将每个时刻的煤流宽度、高
度等消息进行识别，并集合PLC中皮带速度等数据，将实时的煤流中用户关心的实时提取出来。
另外，软件还会对一些异常情况进行识别处理，主要包括:连续超载时报警、长期空载时报警、皮带偏离时报警、严重异常时停止皮带急停、画面遮挡时报警、联动其他系统等……
（1）皮带跑偏识别及报警管理功能
通过视频智能识别算法识别皮带位置形态，监测皮带是否跑偏，当出现跑偏时立即发送报警，平台与报警点附近相关系统联动（工业视频系统、主煤流系统、调度通信系统、应急广播系统和人员位置监测系统等）告知附近人员，及发出声光警报提醒值班人员，进行报警处理。
（2）堆煤报警管理功能
实现智能分析生产过程中因下方皮带突然停机而上方皮带继续生产或者有大块物料卡住仓口而产生的堆煤状况。下料仓口煤流堆起超过设定时间、高度时，平台与报警点附近相关系统联动（工业视频系统、主煤流系统、调度通信系统、应急广播系统和人员位置监测系统等）告知附近人员，及发出声光警报提醒值班人员，进行报警处理，并记录处理流程，截图存证信息，以备管理使用。
（4）皮带异物报警管理功能
实现智能视频分析异物突然出现（如锚杆、钢板、大块矸石等）时的检测，平台可发出声光警报提醒值班人员，并记录处理流程，形成截图存证信息，以备管理使用。
（5）煤流调速功能
通过视频分析对皮带运输过程的空重载情况进行识别。实时识别皮带是否空重载，并将识别结果存储到数据库，便于对皮带运输数据进行统计分析。当连续检测到空重载达到一定时长时触发报警并与与变频器联动和皮带控制系统实现联动，实现皮带自动调速。
此外，还可以对皮带运输煤流体积进行识别，得到实时运输的煤量占比与煤流体积，进而为用户提供相关实时数据和统计数据，以不同的时间尺度呈现给用户，可以对运输系统的工作情况有更为直观的感受，提供皮带运输管理参考。
对于一些运输数据异常的时间点，也可以直接查看其时间节点的历史视频。
2、人员行为分析
（1）巡检行为识别功能
通过视频及人脸识别技术自动识别工作人员是否按规定对变电所进行巡检，并记录巡检时间和巡检次数。与人员位置监测系统联动，识别该人员是否是巡检人员，是否违规进入变电所，以及对巡检过程进行截图存照，保存巡检视频以便后续查看。
（2）电子围栏识别功能
通过视频监测人员是否站在轨道上或在道芯内，或其他不允许进入人员的区域。当出现时立即发送报警信号。与人员位置监测系统联动并截图存证，责任到人。
（3）人员穿戴检测
人员穿戴检测的工作原理是对是否佩戴个体防护设备进行实时分析录制现场视频、识别、跟踪和报警，系统不依赖于其他传感器，直接通过视频实时分析和预警并上传至管理系统服务器，然后服务器实时分析视频流，通过精密的计算识别准确判定是否有违章不佩戴个体防护设备行为，如果发现工作人员未按要求佩戴个体防护设备，系统会自动发出警报，在提醒监理人员的同时，系统会自动保存时间、地点及相应的照片，作为处罚的依据，值班人员看到上传的数据图文可以远程或者现场纠正监督佩戴个体防护设备。
可以说，人员穿戴检测是应用在安全管理上更加有效的重要手段，为安全员进行现场监督提供了有力的技术保障。
（4）操作工离岗位检测
自动识别、监测值班人员的在岗情况，24小时检测识别，对工作人员的脱岗行为进行报警提醒高效监管，既能提高监控区域的安全性，避免因脱岗而造成损失或意外，减少人力监管成本，又能考核监控人员的工作质量。
（5）行车行人检测
在轨道运输场景下，轨道上的列车的行进速度较快，惯性大，一旦启动很难刹车。因此铁轨上的行人会对列车的行进造成很大的不良影响，甚至会威胁到人们的生命安全，带来危险。通过行车行人检测可以利用机器采集铁轨的视频帧图像，并依据对视频帧图像中行人的检测，提前做好相关防范措施。
（6）人员违规穿越皮带及坐皮带行为识别功能
可通过划定皮带区域，从视频中自动检测人员违规穿越皮带及坐皮带行为，并进行报警，与人员位置监测系统联动并截图存证，责任到人。
（7）唯一性检测功能（人脸识别）
可通过人脸识别的手段，结合人员定位、精确定位等系统，实现井下人员轨迹查询、人员考勤实时识别，综合达到视频检索人员工作场景的功能。
3、热成像分析
红外热像分析为井下隐性火区分布火源位置检测、煤炭堆积自燃预防、顶板冒落和采取透水排查、矿用机械安全检测等场景，提供结远距离、零接触、视频显示的红外成像检测，实现提前发现和排除热故障隐患的一种矿用本质安全型红外热像仪。矿用本质安全型红外热像仪是利用红外探测器和光学成像物镜接受被矿用机械机电设备的红外辐射能量分布图形反映到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体表面的热分布场相对应。
功能说明:
控制补偿:通过热像仪安装位置，调整补偿的区间幅值，补偿分为﹔固定差值补偿、比例误差补偿。
联动告警:可以与其他监测监控系统联动报警，振动、人员定位、无线通信、广播。
定点温度获取:根据画面像素点384*288(110592），通过图像鼠标圈选，可以获取到每个像素点温度。
区域温度获取:根据画面像素点384*288(110592)，通过图像鼠标圈选，可以获取到区域中最大温度。
热力图获取:通过手动、定时获取指定区域监控热力图，保存期限60天。
热力图图像分析对比:可以动态生成图像色块变化趋势（5分钟、60分、2小时、24小时）。
4、视频打钻智能分析
（1）实时监控功能
对于煤矿井下钻杆抽采机工作视频实时监控显示，起到一个基础的视频监控功能。
（2）实时计数分析功能
通过对煤矿井下钻杆计数常用方法的对比分析，结合井下钻机打钻场景的实际情况，采用计算机视觉技术的方法对打钻视频中钻杆进行计数。主要通过对钻杆目标分析识别，对传统跟踪算法进行了改进，利用对算法中反向投影图的重新计算，将运动特征和颜色特征融入其中，有效地解决了由于井下光照不均引起的颜色相似干扰问题。同时，在钻杆目标遇到遮挡的情况时融入滤波算法，进行运动轨迹预测分析，加入多区域相对校准识别，有效地解决了钻杆目标被短暂全部遮挡的问题，提高了跟踪的准确性和稳定性。另外，在固定场景下可通过现场提供的该场景工作视频进行深度学习识别，提高其准确率。
（3）异常行为识别报警功能
在获取到视频的帧数据时，根据物体识别检测的结果，判断是否报警。将报警的数据，显示到界面中，提示用户给予干预，并进行记录，实现可回查，可纠正，可备份。在实时检测视频数据过程中，根据物体识别的结果，判断出如下集中类型的报警:
1)若长时间无法检测到有效的钻机位置，则报警（目标无法跟踪）
2)若长时间不在钻机的运动轨迹范围内，则报警（目标超出轨迹范围)
3)若长时间图像没有变化，则会提醒用户停止录像（无操作则自动执行)
4)若长时间图像丢失，则会尝试重新链接摄像头。若重新连接后还是不能得到图像信息，则报警（图像丢失）。
（4）终端管理功能
顾名思义，就是对摄像机设备的添加、修改、删除等功能操作。
（5）报警管理、回查功能
对历史报警记录提供根据时间、类型、地点等消息的多维度查询功能，可实现对历史报警时刻的视频回放，全方面保障打钻相关操作的安全性。
（6）历史打钻管理、录入、回查功能
对于历史打钻记录，软件中都会进行记录存储，用户也可以录入更早的打钻数据进行管理。若打钻时软件已启用，则会自动录像，用户可直接调用播放当时的视频图像，以校验、纠正、记录或作为存证。
（7）历史视频检索、分析功能
和人员定位系统的数据库绑定后，可以针对时间、人员、工作模式等全维度的方式进行视频检索。极大的提升了检索效率。对于历史打钻视频，也提供了打钻计数分析功能，可在历史视频回顾时进行计数分析，一来减轻用户工作量，而来也可以对无人值守时的视频进行计数分析、存储及纠正。
5、多系统融合
（1）联动报警
当异常情况出现时，可通过用户配置进行多系统联动报警提示。如出现人员翻越皮带时，可同步调用广播报警、违章人员定位确定、调度室提醒处理、违章信息截图录像保存等，实现多系统同步交互。
（2）人员标注
在视频监控时，可结合人员定位、人脸识别等功能，实现图像中人员身份识别并标注，进而达到人员检索的效果。
（3）视频联动
实现视频监控与其他系统联动调用，开放视频联动接口，可有其他系统调用显示。此外，还可实现云台摄像仪自动对准对焦等。
（4）语音喊话
对于音视频摄像仪，可实现语音对讲功能，保证对于画面中异常场景，监控人员可实现实时干预提醒。