永乐高

一、系统概述

煤矿Al智能视频剖析监控系统是以Al图像智能识别手艺为焦点、通过人工智能深度学习手艺学习总结大宗煤矿井下摄像仪的视频图像数据的纪律，实现对井下实时视频画面自动检测剖析，并作出提醒、报警、控制等行动。

煤矿生产情形重大，“人、机、环”清静状态的不确定性，给古板基于人工监测的手段带来重大挑战。本产品面向煤炭企业用户，提出基于“云、边、端”架构和机算机视觉手艺的定制化实时视频智能识别范式，实现了“感知、预警、溯源、治理”的闭环。解决了古板监测手段人工本钱高、时效性差、无法量化的难题。

二、系统特点

1.自主立异研发深度学习算法

平台接纳自主立异研发适用于煤矿图像识别的卷积神经网络算法、深度残差神经网络算法、在线学习提升模子等，并团结动态剖析展望模子和多冗余自学习决议机制，实现智能图像剖析、目的跟踪识别以及重大危险源辨识预警，知足特定场景下识别率≥99%、准确率≥99%。

2.自主推流、免插件会见

平台凭证摄像头通用视频协议，效劳器举行视频流获取剖析并举行推流到标准websocket协议客户端？突Ф送ü曜纪ㄓ眯榫傩谢峒⒉⑹迪质悠盗魇凳毕允尽⒆ヅ摹⒙枷竦裙π。因此就不需要，基于摄像头自己客户端插件实时显示视频、抓图等功效。从而实现自主推流、免客户端插件装置，使用效率更高、更便捷、更友好。别的，还针对主流监控装备厂家的摄像仪、硬盘录像机举行了专项适配，使得视频流越发流通、实时和清晰。

3.视频智能存储

系统中如检测到画面长时间静止不动，则会自动阻止录制视频，相较于24小时不中止的录像，永乐高软件大大镌汰硬盘存储压力，并提高查找视频的效率。别的，软件直接提供用户利便的视频盘问与播放功效，无需繁琐的浏览文件和特另外播放器，利便用户审查以往视频纪录。

4.智能检索功效

平台支持视频设置接入、视频监控、异常剖析存储等常用功效。支持要害词对视频举行检索。随着视频数据和视频标签信息的积累，提供基于人工智能手艺的智能视频剖析功效，提供的视频标签信息智能地对视频内容举行学习，实现对视频的智能分类治理和凭证视频内容的智能检索功效。

5.多系统融合联动功效

平台支持多系统融合联动功效，可以对准确定位数据举行深度应用，团结准确定位数据可以在监控中标识职员和装备的信息，配合Al智能云台变焦摄像机可以实现智能追踪功效，在须要情形下可以联动相关系统的报警和控制装备。

三、系统组成

四、系统应用场景

1、皮带运输剖析

皮带运输剖析是为相识决现场井下皮带运输时的监控巡盘问题。在皮带运输中，因从清静角度思量，皮带流开启遵照自后向前，关闭遵照自前向后，严重影响生产效率，铺张电力资源。本产品通过对皮带的视频剖析，可自动实现皮带的煤流量、流速检测，提供皮带开停建议，实现提高生产效率、降低生产本钱的功效。

主要功效是实现在视频监控的基础上实现实时煤流量的自动监测，将每个时刻的煤流宽度、高

度等新闻举行识别，并荟萃PLC中皮带速率等数据，将实时的煤流中用户体贴的实时提取出来。

另外，软件还会对一些异常情形举行识别处置惩罚，主要包括:一连超载时报警、恒久空载时报警、皮带偏离时报警、严重异常时阻止皮带急停、画面遮挡时报警、联动其他系统等……

（1）皮带跑偏识别及报警治理功效

通过视频智能识别算法识别皮带位置形态，监测皮带是否跑偏，当泛起跑偏时连忙发送报警，平台与报警点周围相关辖档酮动（工业视频系统、主煤流系统、调理通讯系统、应急广播系统和职员位置监测系统等）见告周围职员，及爆发声光警报提醒值班职员，举行报警处置惩罚。

（2）堆煤报警治理功效

实现智能剖析生产历程中因下方皮带突然；戏狡ご绦蛘哂写罂槲锪峡ㄗ〔挚诙⒌亩衙鹤刺。下料仓口煤流堆起凌驾设准时间、高度时，平台与报警点周围相关辖档酮动（工业视频系统、主煤流系统、调理通讯系统、应急广播系统和职员位置监测系统等）见告周围职员，及爆发声光警报提醒值班职员，举行报警处置惩罚，并纪录处置惩罚流程，截图存证信息，以备治理使用。

（4）皮带异物报警治理功效

实现智能视频剖析异物突然泛起（如锚杆、钢板、大块矸石等）时的检测，平台可爆发声光警报提醒值班职员，并纪录处置惩罚流程，形成截图存证信息，以备治理使用。

（5）煤流调速功效

通过视频剖析对皮带运输历程的空重载情形举行识别。实时识别皮带是否空重载，并将识别结果存储到数据库，便于对皮带运输数据举行统计剖析。当一连检测到空重载抵达一准时长时触发报警并与与变频器联动和皮带控制系统实现联动，实现皮带自动调速。

别的，还可以对皮带运输煤流体积举行识别，获得实时运输的煤量占比与煤流体积，进而为用户提供相关实时数据和统计数据，以差别的时间标准泛起给用户，可以对运输系统的事情情形有更为直观的感受，提供皮带运输治理参考。

关于一些运输数据异常的时间点，也可以直接审查其时间节点的历史视频。

2、职员行为剖析

（1）巡检行为识别功效

通过视频及人脸识别手艺自动识别事情职员是否按划定对变电所举行巡检，并纪录巡检时间和巡检次数。与职员位置监测辖档酮动，识别该职员是否是巡检职员，是否违规进入变电所，以及对巡检历程举行截图存照，生涯巡检视频以便后续审查。

（2）电子围栏识别功效

通过视频监测职员是否站在轨道上或在道芯内，或其他不允许进入职员的区域。当泛起时连忙发送报警信号。与职员位置监测辖档酮动并截图存证，责任到人。

（3）职员衣着检测

职员衣着检测的事情原理是对是否佩带个体防护装备举行实时剖析录制现场视频、识别、跟踪和报警，系统不依赖于其他传感器，直接通过视频实时剖析和预警并上传至治理系统效劳器，然后效劳器实时剖析视频流，通详尽密的盘算识别准确判断是否有违章不佩带个体防护装备行为，若是发明事情职员未按要求佩带个体防护装备，系统会自动发出警报，在提醒监理职员的同时，系统会自动生涯时间、所在及响应的照片，作为处分的依据，值班职员看到上传的数据图文可以远程或者现场纠正监视佩带个体防护装备。

可以说，职员衣着检测是应用在清静治理上越发有用的主要手段，为清静员举行现场监视提供了有力的手艺包管。

（4）操作工离岗位检测

自动识别、监测值班职员的在岗情形，24小时检测识别，对事情职员的脱岗行为举行报警提醒高效羁系，既能提高监控区域的清静性，阻止因脱岗而造成损失或意外，镌汰人力羁系本钱，又能审核监控职员的事情质量。

（5）行车行人检测

在轨道运输场景下，轨道上的列车的行进速率较快，惯性大，一旦启动很难刹车。因此铁轨上的行人会对列车的行进造成很大的不良影响，甚至会威胁到人们的生命清静，带来危险。通过行车行人检测可以使用机械收罗铁轨的视频帧图像，并依据对视频帧图像中行人的检测，提前做好相关提防步伐。

（6）职员违规穿越皮带及坐皮带行为识别功效

可通过划定皮带区域，从视频中自动检测职员违规穿越皮带及坐皮带行为，并举行报警，与职员位置监测辖档酮动并截图存证，责任到人。

（7）唯一性检测功效（人脸识别）

可通过人脸识别的手段，团结职员定位、准确定位等系统，实现井下职员轨迹盘问、职员考勤实时识别，综合抵达视频检索职员事情场景的功效。

3、热成像剖析

红外热像剖析为井下隐性火区漫衍火源位置检测、煤炭群集自燃预防、顶板冒落和接纳透水排查、矿用机械清静检测等场景，提供结远距离、零接触、视频显示的红外成像检测，实现提前发明和扫除热故障隐患的一种矿用实质清静型红外热像仪？笥檬抵是寰残秃焱馊认褚鞘鞘褂煤焱馓讲馄骱凸庋С上裎锞到邮鼙豢笥没祷缱氨傅暮焱夥淠芰柯衍图形反应到红外探测器的光敏元件上，从而获得红外热像图，这种热像图与物体外貌的热漫衍场相对应。

功效说明:

控制赔偿:通过热像仪装置位置，调解赔偿的区间幅值，赔偿分为﹔牢靠差值赔偿、比例误差赔偿。

联动告警:可以与其他监测监控辖档酮动报警，振动、职员定位、无线通讯、广播。

定点温度获取:凭证画面像素点384*288(110592），通过图像鼠标圈选，可以获取到每个像素点温度。

区域温度获取:凭证画面像素点384*288(110592)，通过图像鼠标圈选，可以获取到区域中最大温度。

热力争获取:通过手动、准时获取指定区域监控热力争，生涯限期60天。

热力争图像剖析比照:可以动态天生图像色块转变趋势（5分钟、60分、2小时、24小时）。

4、视频打钻智能剖析

（1）实时监控功效

关于煤矿井下钻杆抽采机事情视频实时监控显示，起到一个基础的视频监控功效。

（2）实时计数剖析功效

通过对煤矿井下钻杆计数常用要领的比照剖析，团结井下钻机打钻场景的现真相形，接纳盘算机视觉手艺的要领对打钻视频中钻杆举行计数。主要通过对钻杆目的剖析识别，对古板跟踪算法举行了刷新，使用对算法中反向投影图的重新盘算，将运动特征和颜色特征融入其中，有用地解决了由于井下光照不均引起的颜色相似滋扰问题。同时，在钻杆目的遇到遮挡的情形时融入滤波算法，举行运动轨迹展望剖析，加入多区域相对校准识别，有用地解决了钻杆目的被短暂所有遮挡的问题，提高了跟踪的准确性和稳固性。另外，在牢靠场景下可通过现场提供的该场景事情视频举行深度学习识别，提高其准确率。

（3）异常行为识别报警功效

在获取到视频的帧数据时，凭证物体识别检测的效果，判断是否报警。将报警的数据，显示到界面中，提醒用户给予干预，并举行纪录，实现可回查，可纠正，可备份。在实时检测视频数据历程中，凭证物体识别的效果，判断出如下集中类型的报警:

1)若长时间无法检测到有用的钻机位置，则报警（目的无法跟踪）

2)若长时间不在钻机的运动轨迹规模内，则报警（目的凌驾轨迹规模)

3)若长时间图像没有转变，则会提醒用户阻止录像（无操作则自动执行)

4)若长时间图像丧失，则会实验重新链接摄像头。若重新毗连后照旧不可获得图像信息，则报警（图像丧失）。

（4）终端治理功效

顾名思义，就是对摄像机装备的添加、修改、删除等功效操作。

（5）报警治理、回查功效

对历史报警纪录提供凭证时间、类型、所在等新闻的多维度盘问功效，可实现对历史报警时刻的视频回放，全方面包管打钻相关操作的清静性。

（6）历史打钻治理、录入、回查功效

关于历史打钻纪录，软件中都会举行纪录存储，用户也可以录入更早的打钻数据举行治理。若打钻时软件已启用，则会自动录像，用户可直接挪用播放其时的视频图像，以校验、纠正、纪录或作为存证。

（7）历史视频检索、剖析功效

和职员定位系统的数据库绑定后，可以针对时间、职员、事情模式等全维度的方法举行视频检索。极大的提升了检索效率。关于历史打钻视频，也提供了打钻计数剖析功效，可在历史视频回首试促行计数剖析，一来减轻用户事情量，而来也可以对无人值守时的视频举行计数剖析、存储及纠正。

5、多系统融合

（1）联动报警

当异常情形泛起时，可通过用户设置举行多辖档酮动报警提醒。如泛起职员翻越皮带时，可同程序用广播报警、违章职员定位确定、调理室提醒处置惩罚、违章信息截图录像生涯等，实现多系统同步交互。

（2）职员标注

在视频监控时，可团结职员定位、人脸识别等功效，实现图像中职员身份识别并标注，进而抵达职员检索的效果。

（3）视频联动

实现视频监控与其他辖档酮动挪用，开放视频联动接口，可有其他系统挪用显示。别的，还可实现云台摄像仪自动瞄准对焦等。

（4）语音喊话

关于音视频摄像仪，可实现语音对讲功效，包管关于画面中异常场景，监控职员可实现实时干预提醒。