高创核心技术

基于大数据架构的社会治理大数据平台

依托综治中心实体化为载体,将之前分散的社会治理碎片化力量重新聚合,建设市域社会治理大数据平台,对数据完成融合和大数据分析。并构建两套体系:工作体系,运营体系。按照“实战、实用、实效”三大原则及社会治理现代化“四大工程”的总体布局,围绕实现“五大功能”,社会治理大数据中心大致分如下几大系统构建:治理事项监管中心、民安民生服务中心、数据分析研判中心、决策调度指挥中心、风险评估预警中心、公众参与(APP模块)。

自主研发人工智能算法

一种基于相机投影模型的物品检测网络方法

本发明公开一种基于相机投影模型的物品检测网络方法,包括:输入图像,设计并计算输入图像的锚框:主干网络:将图像输入到主干网络,经过多个特征层后输出;设计Razor模块;先对Ground truth进行编码,再进行预测;负样本筛选;训练遴选样本,设计损失函数,进行训练,得到训练模型;模型的运用;当训练完毕,用得到的函数参数,进行模型推导,对得到的每一个锚框的估计,得到该锚框下存在目标的概率 ,并反推求出在实际图像中的真实位置。本发明提出的物品检测网络方法,在大幅减少运算量的同时,使网络仍然保留了准确检测的性能。在自动驾驶和监控这两个非常依赖相机投影模型的行业中,都已证明了其高效的特点,取得了非常好的效果。

基于大规模并发的大数据中台系统

1.数据中台关键技术路线

1)分布式计算技术

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。

2)分布式缓存技术

Kafka是一个分布式、支持分区的(partition)、多副本(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎,web/nginx日志、访问日志,消息服务等等,用scala语言编写。

3)分布式索引技术

Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器,易于加入到 Web 应用程序中。Solr 提供了层面搜索(就是统计)、命中醒目显示并且支持多种输出格式(包括XML/XSLT 和JSON等格式)。它易于安装和配置,而且附带了一个基于HTTP 的管理界面。可以使用 Solr 的表现优异的基本搜索功能,也可以对它进行扩展从而满足企业的需要。

4)分布式数据存储技术

HBase是一个高可靠、高性能、面向列、可伸缩的分布式数据库,是谷歌BigTable的开源实现,主要用来存储非结构化和半结构化的松散数据。HBase的目标是处理非常庞大的表,可以通过水平扩展的方式,利用廉价计算机集群处理由超过10亿行数据和数百万列元素组成的数据表。

5)分布式文件管理技术

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。HDFS能提供高吞吐量的数据访问,非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束,来实现流式读取文件系统数据的目的。HDFS有着高容错性(fault-tolerant)的特点,并且设计用来部署在低廉的(low-cost)硬件上。而且它提供高吞吐量(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large data set)的应用程序。HDFS放宽了(relax)POSIX的要求(requirements)这样可以实现流的形式访问(streaming access)文件系统中的数据。

2.应用层关键技术路线

1)微服务架构技术

微服务的基本思想在于考虑围绕着业务领域组件来创建应用,这些应用可独立地进行开发、管理和加速。在分散的组件中使用微服务云架构和平台,使部署、管理和服务功能交付变得更加简单。

简单的微服务系统如下:

2)分布式消息技术

kafka是一个分布式的、易扩展的、安全性高的消息服务系统,提供了类似于JMS的特性,但在设计实现上又完全不同,它并不是基于JMS规范实现的(kafka的实现不包含事务特性性)。kafka对消息的保存时以Topic进行归类的,向Topic发送消息的称谓Producer,从Topic接受消息的称谓Consumer。kafka集群由多个service组成,每个service在kafka集群中被称作broker。kafka集群的作用就是存储从Producer发过来的消息,然后按照一定的规则将消息发送给Consumer。无论是kafka集群本身,还是Producer 或者Consumer,均依赖于zookeeper来管理集群中的信息同步。

下图为kafka基本结构组成图:

3)实时数据传输技术

Logstash是一个开源的服务器端数据处理管道,它可以同时从多个源中提取数据,对其进行转换,然后将其发送到相应的存储服务;与此同时这根管道还可以根据实际需求在中间加上滤网,Logstash提供里很多功能强大的滤网以满足你的各种应用场景。

gstash常用于日志采集。

4)全文搜索技术

Elasticsearch(ES)是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎。Elasticsearch还是一个分布式文档数据库,其中每个字段均可被索引,而且每个字段的数据均可被搜索,ES能够横向扩展至数以百计的服务器存储以及处理PB级的数据。可以在极短的时间内存储、搜索和分析大量的数据。通常作为具有复杂搜索场景情况下的核心发动机。

地理空间信息技术

地理空间信息技术包括地理信息系统,遥感和全球卫星导航系统,以及卫星通信,广播等,其作为位置信息获取,传输,定位的核心技术。结合三维实景、卫星遥感等专业地图影像数据,实现通多维数据要素的空间叠加可视化,实现多维要素的直观展现。

5)跨平台开发技术

本系统采用J2EE体系架构,J2EE体系架构是目前业界使用最为广泛的体系架构之一,它为按照基于组件的应用模型设计分布式应用提供了一个简单而统一的标准。J2EE体系架构拥用Java语言所带来的一切优秀特性,包括平台无关性、安全特性以及组件化开发模式的特性,都为基于J2EE开发的企业级应用高效、健壮的运行提供了有力的保证。合理集成以J2EE为标准的软件产品构建本期应用系统,可以得到较好的稳定性、高可靠性和扩展性。

J2EE架构一般在大中型应用中使用比较多,选择了J2EE也就意味着选择了一个开放、自由、大型的技术应用平台。

其典型结构如下图所示:

在电子政务系统中,具有2个容器:Web容器和EJB容器,它们包含了宿主SERVLETS、JSP页面、企业级JAVA BEAN组件供其它程序使用。

其具体结构如图:

在电子政务系统中,具有2个容器:Web容器和EJB容器,它们包含了宿主SERVLETS、JSP页面、企业级JAVA B6)工作流引擎技术

工作流引擎技术是当今世界上在IT应用领域属于基础性前沿技术,以工作流引擎技术为核心的工作流管理系统在电子政务中的应用正在成为发展的趋势。该系统以工作流管理系统为基础,以保证系统不会因为流程的变化而瘫痪,将应用逻辑或流程逻辑相分离,使得流程可以互相连接、交叉或循环进行,也可以打破部门界限而发生于各相关部门之间。传统的信息系统是基于任务的,活动之间的联系不能自动进行,而工作流系统是针对过程的,它可以让多个流程依照规定的规则自动“流动”,而变更流程设置相对容易。通过工作流管理系统所提供的流程定制工具,便可以迅速的搭建起面向具体业务流转环境,以及方便的增减和修改已定的业务内容和业务流程。

传统工作流引擎已经发展的非常完善,流程设计,调整,跳转等均有很多工具支撑,但同时也造成相关的工作流引擎运行效率偏低及非常庞大,在与系统多层次的集成时需要独立规划数据表,对接相关接口,造成开发工作量的增加。系统设计过程中,针对本系统工作流流程相对固定,环节较少的特点,对工作流引擎进行简化定制,固化业务处理流程,使在系统环境下运行效率更高,简化流程业务对接操作。

基于场景的数据科学与治理服务

1.场景一:用NLP神经元算法引擎助力矛盾纠纷排查与社会风险事件。

例如我们打破传统的部门数据壁垒,将矛排数据、网格事件数据、市长热线、110接警、信访等等数据全部汇聚之后,经过NLP算法模型大数据分析,我们将会发现是否存在“同一地址的多个事件、同一人的多个事件、同一单位的多个事件(关联重点单位)、多个渠道的同一事件”,那经过整体的分析整合之后,我们可以用大数据的方式将各个渠道没有处理完的事件的重新分配(部门不对、跨部门、本部门错误等)。同时,会对地域、时间、人等等产生分析,例如我们之前有个地方就发现,我们接到的110报警事件中,大部分产生在城中村或者城乡结合部,经过分析又发现打架斗殴的两拨人多为各个都是同乡,那是不是可以根据流动人口数据,分析哪里同乡人聚集多,提前做驱离或防范工作。EAN组件供其它程序使用。

其具体结构如图:

2.场景二:利用多源异构的大数据融合处理、计算能力,解放人力,赋能前端治理力量。

网格员数据采集、社区数据采集的工作时效性长且工作量大。能否通过多业务门数据(例如公安户籍人口、网格数据、住建人员信息数据、运营商人员数据),融合监控点位数据(例如雪亮工程、天网数据)再融合智慧平安小区的物联网数据(例如门禁、停车场等等),是否可以对人口底库的核查,对于地区人口差异较大的小区,有针对性的排查采集呢。包括应用这种方式也可以完成对重点人口的管控。(例如肇事肇祸精神病患者的三级防范圈,吸毒人员串联、异常行为等等)。

针对流动人口的管理这部分,高创大数据运营已经开始外卖企业和快递企业进行对接,获得数据后,进行数据的清洗分析入库工作,会对流动人口管理的时效性真实性有极大的提高。

3.场景三:应用新技术加强政法体系协同办案与联合作战能力。

在政法体系内部也存在着一定程度的信息共享不足、尤其是案件协同、监管较弱等等问题。

高创安邦应用大数据、网络安全、数据穿透等技术,实现政法体系中各个部门的政法协同办案,实现从公安机关批准逮捕、人犯押送,检察院提起公诉、庭审监督、民行审查,法院案件审判,监狱刑罚执行,司法行政的法律援助、安置帮教、社区矫正等全业务的闭环流程。同时,在整个过程中政法委也可以实现业务监督和指导协调的工作。

4.场景四:大数据标签体系+推荐算法引擎助力智能指挥调度。

高创安邦应用大数据标签体系+推荐算法引擎将当前未处理的事件进行统一汇总,并根据地域、类型、归属、附近资源等要素分析自动推荐相关成员单位及对应联系人自动推荐最近的基层治理力量自动推荐附近相关视频资源查看实时情况自动推荐相似案件与应急处突预案大数据智能分析对闭环事件复核实现真正的智慧指挥调度。

NLP自然语言算法技术

1.简述

聚焦社会治理中社区矛盾纠纷事件排查问题,综合运用大数据、云计算、NLP(自然语言处理)算法处理矛盾纠纷排查文本,提取矛盾纠纷关键信息,并进行精准分类和深度挖掘。

最终对矛盾纠纷按多个维度进行统计分析,实现对矛排事件实行全方位、全覆盖智能监管,提升人民群众满意度和获得感。

2.主要方式及特点:

1)在大屏上以统计图表、点位、分布展示辖区矛盾纠纷事件各种分类;直观展示矛盾纠纷事件的分类、统计、位置、趋势等。

2)量化表现辖区矛盾纠纷事件指标情况;对重点关注街道点位于地图上准确表现。

3)使用CRF分词模型、大数据并行计算框架,实现了对矛盾纠纷事件的精准分类和深度挖掘。

4)在Bert预训练模型上二次开发,实现了重复事件、相似度高事件的判定和输出。

5)实时性展示各辖区的矛盾纠纷事件同比环比的动态变化情况。

3.核心技术优势:

1)使用的是公司全新的框架和NLP算法模型开发,对区域的矛盾纠纷数据汇集、清洗、分析。完整全面展示区域详情和概况。

2)我司自主研发的大数据架构,具备处理数据量大、速度快等特点。

3)我司自主研发的NLP算法具备识别及时,准确度高,极少误报等特点。

国标视图库及各类图像处理技术

简述:

算法团队通过解决社会治理的,基于计算机视觉图像、视频的输入,综合运用机器学习、数据可视化、深度学习,卷积神经网络等算法,对图像进行计算机图形学方面的处理,提取图像、视频信息时间、空间上的特许证信息,对视频图像进行机器自动的解析、理解,以求达成特定的社会治理目的。

主要功能及特点:

1.数据收集自动化工具:自动构建数据网络闭环,实现数据收集的自动化。对数据收集的各个过程和维度实现量化,进行统计、分类,评估趋势,并实现预警。

2.对数据源、数据处理流程形成标准、实现标准化数据收集、处理、运用、存储。

3.基于相机投影模型的目标检测:该方案已经过的国家发明专利。通过对相机及数据的精准理解,设计符合相机投影模型的基于深度学习卷积神经网络的算法模型,实现对辖区千路相机,百万级上图数据的预测和预警,准确率高达99%。

4.设计并构成的夜间红外补光设备的算法服务器,通过了公安部第三研究所的认证,单日数据吞吐量可达500万,平均单图片检测速度小于20ms. 输入尺寸(1920x1080)分辨率。检出率高达93.7%

5.所设计的图像质量分析算法,同样获得了国家发明专利,该算法可以对输入的图像进行判断,自动判定图像是否符合后续算法计算需求,从而驱动整个算法的自动化,有着非常重要的作用。

6.团队研发了对行人的多属性视频分析算法,能够准确的判断行为者的多个属性(性别、年龄、行为、朝向)等,并能实时支持多路相机团队正在利用新的数据形式、传感器输入,融合深度学习算法,实现对目标区域及目标的全面准确的监控,实现追踪、热度分析等相关工作。

基于图片和位置信息的人、车、码三码合一及关系图谱等

本发明涉及智慧小区,特别是智能城市安防领域。本发明基于人工智能的深度学习计算机视觉技术,利用自主研发的碰撞面算法设计了人-车-码合一的系统,可以智能识别小区数字人口,重点人口,疑似迁入,疑似迁出,疑似访客,疑似曾住,异常时间出行人员,疑似犯罪嫌疑人员等,保障社区内居民的人员人身和生命财产安全,帮助社区安保人员进行人员管理和排查,推动智能住宅小区的建设,使小区更安全,更便民。

市域社会治理可信大数据平台

市域社会治理弹性智能化平台