千视通CTO胡大鹏:解读AIoT无感通行园区的算法与业务逻辑 ...-程序员宅基地

技术标签: ViewUI  前端  嵌入式  大数据  

TB1NZ2aOCzqK1RjSZFHXXb3CpXa.jpg

3月23日,由雷锋网 & AI掘金志主办的「第二届中国人工智能安防峰会」在杭州召开。

峰会现场,千视通CTO胡大鹏以《智慧园区,无感通行》为主题,全面深入地分享了千视通AIoT场景融合战略。

胡大鹏博士是香港科技大学计算机科学博士,曾任微软亚研院博士后研究员、ASTRI(香港应用科学研究院)首席研究员,作为千视通的联合创始人兼CTO,参与制定了千视通AIoT场景融合战略。

胡大鹏博士在大会中提到,AIoT场景融合战略由AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器等组成,可将Re-ID和Face-ID两大算法进行融合应用,赋能智慧园区、社区、校园、零售等多个场景,实现无感通行。

以下为胡大鹏博士的现场演讲内容,雷锋网(公众号:雷锋网)作了不改变原意的编辑和整理:

大家好!我是胡大鹏,今天我主讲的内容是《智慧园区、无感通行》。

作为联合创始人创办千视通之前,我曾在微软亚研院、ASTRI工作。目前,千视通的核心研发团队都是来自于香港科研院、北美以及上海交通大学的专家。

千视通与其他AI公司有所不同。现在业内头部的AI公司大多都聚焦于单点人脸识别和Re-ID技术,我们除了深耕这两项技术外,目前也在把这两项进行融合,实现“无感”,业务逻辑是把人与场景融合在一起,打造“无感园区”。

现在,我们为用户提供AIoT端到端的全栈解决方案,同时借助佳都科技、川大智胜、比特大陆、明略数据四大股东的资金与资源加持,使得千视通有能力承接完成大量的诸如“无感园区”类型的数千万级项目。

AIoT端到端,场景融合战略

千视通的AIoT主要包含四个方面:AI算法、IoT智能前端/边缘计算、大数据平台、NVR/服务器。

TB1aVC7OwDqK1RjSZSyXXaxEVXa.jpg

算法层面,大家都知道千视通最初是做Re-ID和人脸识别的,在这些项目的研发期间,拿到了非常好的数据,现在可利用这些实战数据和技术积累去做无感通行。

目前千视通主要聚焦在前端中心,公司储备的大部分算法,都在人脸、IPC、系统增强等领域,这些算法现阶段已经非常成功地嵌入在了前端,可直接应用。

在AIoT领域,我们也可以去赋能老旧、普通的IPC(后端也需要硬件和平台的支持),我们现在做的主要是加强AI和前端层,从而演变成全线的端到端方案。

千视通的AIoT方案可以用在什么场景呢?园区、社区、校园还有零售。今天我主要讲前三个,零售的技术逻辑与上述三者也较为相似。

TB1evyKhnZmx1VjSZFGXXax2XXa.jpg

AI+园区,无感通行

什么是无感通行?

在讲无感通行前,我先谈谈普通园区管控中通常会遇到的问题,主要分为四种:

TB1nZq.OBLoK1RjSZFuXXXn0XXa.jpg

1.安全管理有漏洞:当人进入园区时,需要刷脸或刷卡,但这些环节都可以通过造假入内。

2.布控识别存在盲区:进入园区后,很多地方一方面没有摄像头,另外即便有摄像头也仅可以实现把人检测出来,或者是用Re-ID把人在不同的系统里进行关联,但并不能建档,所以无法知道这个人是谁。对此,我们把Re-ID和Face-ID融合起来,除了从不同的系统里拿到这个人的样貌和外形信息之外,我们也把他的身份信息复制进去。

3.园区成本改造成本高:很多园区仍在使用老旧硬件设备和软件系统,如要进行改造,成本会很高。

4.事件预防能力弱:现阶段大多设备对事件的预防能力比较弱,单从火灾预警来讲,若采用普通的IoT硬件,需要安装很多传感器,如温度传感和烟雾传感等,但各种设备的能力范围有限,感知的场景和采集的数据单一,远不如摄像头。

在这种情况下,我们的解决方案分为四点:分别是无感通行、一人一档、利旧建新、火情检测。

TB1Z6DjOwHqK1RjSZFkXXX.WFXa.jpg

 无感通行

什么是“无感通行”呢?当你进入一个园区之后,我不希望用户知道你在管理他,他不需要主动刷脸刷卡,他一入园区后,在不干扰他的情况下,利用摄像头先对用户进行识别,然后把他的资料和属性调出来,根据他的身份,对园区进行智能管控,对用户提供通行服务,所以叫“无感通行”。

 一人一档

如果我可以把每个人的ReID关联起来后,再把人脸信息加进去,就可以在底库里面把他的身份信息拿出来,然后再进行关联,在此之上,便可以为每个人建档。

建档之后的任务,千视通自身已经做了很多优化工作,比如把所有人的信息分解出来,然后建一个档,档案里包括了用户的所有信息:身份、属性、每个时间段出现的位置、所做的事情,这之后也可以衍生出更多的应用。

利旧建新

我们的产品可以称作为“利旧建新”,这么叫的原因是希望把原来的普通IPC,在后台加一个盒子,或者再台服务器,从而把摄像机的能力,变得更智能。

火情检测

最后是事件监测,我们做的一款产品叫“火情检测”。

无感同行通过2D或者3D地图,然后在地图里把无感通行里检测的所有人和事都进行重建,然后把他显示出来,我们甚至可以建立一人一档,可以知道这个人在园区里怎么走动、也可以知道他的身份,在每个点里都能实时把这些人检测出来,然后把他分辨率最高的抓拍人像,跟人形去做关联,使得他在园区摄像头下的所有行为我们都可以掌握。

知道这些信息后,然后进行统计建模。

比如可以把园区行人的资料跟公安黑名单进行对比,如果识别出某人是逃犯,就可以实时自动关闭园区大门,然后通知警方和管理人员办案。

TB1G4_aOxTpK1RjSZFMXXbG_VXa.jpg

下图是千视通做了很多年的属性提取和分类,随着属性的颗粒度越来越细、越来越多,识别精度越来越准。

TB1V4bXOCzqK1RjSZFjXXblCFXa.jpg

那么人形Re-ID和人脸Face-ID怎么做呢?

人每经过一个地方,如闸机或门禁,在门禁里,我可以采集到他非常清晰的照片,经过一些卡口时,整个人也可以看清楚,但如果在其他地方,就可能看不清楚他的人脸。那么在这种采集不到高清照片的场景下该怎么办?

在园区里我们实时从不同场景和不同的设备上,采集人的各种人脸图像和人形轨迹,最后用底层的算法,把多个维度的信息和属性进行关联,属性越多,档案便建得越完善。

TB1RoDaOAvoK1RjSZPfXXXPKFXa.jpg

当然了,由于整个采集流程是无感的,所以采集的图像有时候质量不一定非常好,这时候需要我们用非常复杂的算法进行图像增强,比如通过超分辨率识别技术实现低清人脸的识别,从而进行高清人脸以及进行身份比对。

另外,我们在侧脸还原技术上也有着很好的积累,针对只抓拍到的侧脸数据,从而根据侧脸的信息,把正面的特征提取出来,进行图像修补和增强,提高精确度。

如果是晚上怎么办?在园区,现在有超夜视增强识别技术,可以把算法嵌入在前端的AI芯片里,把黑暗无光的照片进行恢复,然后进行分析。现在这个系统理论上可以24小时工作。

TB11SvjOAvoK1RjSZFwXXciCFXa.jpg

最后是刚才提到的一人一档,每个人的资料都在这里。有了这些资料以后,我们系统有些标准的应用,类似于黑名单报警、陌生人报警、围栏报警、未授权区域报警、访客超时报警、人形属性报警,这些都可以做。

TB1AKHBOxjaK1RjSZKzXXXVwXXa.jpg

我们前端是允许普通的IPC连接到我们的盒子,或者是在后台的机器里做分析,还可以买我们设计的摄像头,千视通已经有一些算法,也可以提供一些标本配备,比如与闸机或者是访客机,以及加上人脸终端去提升性能。

TB1j.PgOpzqK1RjSZFvXXcB7VXa.png

我们园区的方案,包括五个模块中心:

TB1NpG7OwDqK1RjSZSyXXaxEVXa.png

智慧园区管理中心:我刚才提到的分析、储存环节都是这个中心在做处理。

门禁闸机控制和视频监控系统:这两个产品形态比较简单,主要是控制硬件。

远程访问权限控制:这个模块很重要,园区如果有人过来访问,可以预先在网上登记,登记之后,进入这个园区即可。后台授权也有一些功能,管理员可以根据你的身份,自动设置你哪些地方可去,哪些地方不能出去,以及获取访问时间等。

车辆管理子系统:车辆管理子系统也差不多,只不过对象不是人,是车。

警报信息发布系统:管理员可以在系统里定义哪些行为违规、什么可做、不可做,如果有违规事项发生,及时报警。

以上主要是我们无感园区要做的事情,我们尽可能在不干扰用户的情况下,把一人一档建起来,这是我们无感通行里最重要的一点。

AI+社区

如果把无感通行扩大,可以做什么事情呢?

我们发现在社区的管理上有三个很大的问题,第一个是外来人口不断增多,特别是在一些正在快速发展的城市,流动人口基数很大,管理工作人员少、信息管理滞后。

TB1SXYeOsbpK1RjSZFyXXX_qFXa.png

千视通近来在广州花都区有一个项目,这些园区本身有一些门禁系统,还装有不少摄像头,但他们就不太愿意把这些旧的设备全都换掉,希望在保留旧设备的基础上,打造成一个智能社区。以前很简单,直接连到我们后台或者盒子等产品,老产品都可以变智能。

TB1Z9LzOxnaK1RjSZFBXXcW7VXa.png

当这些项目做大以后,我们就可以把这些小区变成酒店式管理。

TB1XCPzOxnaK1RjSZFBXXcW7VXa.png

小区里的人在什么地方,做什么事情系统都可以知道,他原有的门禁,也知道有什么人在里面,所有门禁采集的资料会送到后台中央来处理,再加上一些摄像头做的Re-ID和Face-ID的融合,基本可以实现一人一档。它首先可以统计人口信息,然后是房屋信息,知道房子里面有什么人住,现在有什么人在里面。然后是出入信息,我们可以知道处于这个门禁的哪个位置,他在社区里面跑,通过多个摄像头融合,系统也可以把他的位置找出来。

在一人一档里面已经有这个资料了。然后在每个摄像头位置都可以抓拍他的信息,从这里也可以拿到他的短视频,就可以全都管理和控制。

TB1sMO5OzDpK1RjSZFrXXa78VXa.png

AI+校园

下一个是校园,为什么提它?

近来我们发现有学校开始布一些传感器之类的智能产品,辅助校园管理。我觉得在学校里面,有四个问题需要解决:

包括校园进出问题、陌生人进入宿舍问题、学生接送冒领问题、学生逃课问题。

我们去学校充分了解了其需求,他们有学生接送管理、校门进出人员管理、宿舍人员进出管理以及课堂出勤管理,如果我们可以对每个学生都建一人一档,这些事情的管控都不难。

TB1AwO5OzDpK1RjSZFrXXa78VXa.png

对于家长来说,他感受到的是什么呢?因为每个学生,系统都知道他的档案、姓名、班级、学校、时间、位置,每个时间段在做什么事情,他附近有什么人。

我可以提供一个手机APP给家长,家长如果没有时间去接送,可以在这里授权某个人去,在这里登记,就像刚才园区一样,可以在里面先登记,然后这个人就可以去接送了。

接送也可以警报,到底是谁在接送你的孩子,还有接送的画面、短视频都可以看到。另外一个是你孩子在课堂,有没有上课,有没有参与,也都可以知道。这对家长来说非常方便,重点是无感,所有人完全不需要刻意配合,也不需要受到干扰,体验很好。

TB11XjdOAzoK1RjSZFlXXai4VXa.png TB1kifaOwHqK1RjSZFgXXa7JXXa.png

总结来说,我们千视通主要的AIoT有什么呢?

主要分为四部分:尖端的算法、前端嵌入式方案、大数据平台基础,NVR/服务器,基于这四点,就可以做到无感通行,一人一档、利旧建新,还有事件检查等。我们的AIoT可以用在园区、社区、校园,还有零售等场景应用,未来可探索的场景更多,因此我们也需要更多的时间去挖掘。

TB1oca9OrPpK1RjSZFFXXa5PpXa.png

这是我们公司的宗旨,希望我们用人工智能,让城市更加安全、便捷、智慧,谢谢大家!

关于中国人工智能安防峰会

由雷锋网& AI掘金志主办的「2019中国人工智能安防峰会」,是业内极具影响力的AI安防论坛,致力于推动中国“AI-安防”落地融合与“学术-产业”的应用交叉。

延续上一届峰会的高水准、高人气,2019中国人工智能安防峰会再度站在算法、工程和产品的最前沿,引导安防行业认知再升级。这是海康、大华、华为、阿里、腾讯以及多个AI独角兽,因“AI安防”首次同台,峰会现场也聚集了海内外1000多位政企管理层和技术研究员,共同探讨2019年的AI安防智能技术部署、前沿算法应用与商业战略布局。

本次峰会共设置“城市大脑与边缘计算”、“世界顶尖算法应用”、“前端动态识别与智能视频云”、“城市AIoT与边缘智能引擎”四大议题,出席的15位演讲嘉宾分别是:

上午场:阿里巴巴华先胜、海康威视浦世亮、大华股份殷俊、地平线张永谦、深瞐科技陈瑞军、商汤科技张果琲、浪潮商用机器张琪。

下午场:香港科技大学权龙、原松下(新加坡)研究院申省梅、华为余虎、触景无限肖洪波、旷视科技安洋、千视通胡大鹏、腾讯李牧青、中科院自动化所王金桥。

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/weixin_34178244/article/details/89551327

智能推荐

oracle 12c 集群安装后的检查_12c查看crs状态-程序员宅基地

文章浏览阅读1.6k次。安装配置gi、安装数据库软件、dbca建库见下:http://blog.csdn.net/kadwf123/article/details/784299611、检查集群节点及状态:[root@rac2 ~]# olsnodes -srac1 Activerac2 Activerac3 Activerac4 Active[root@rac2 ~]_12c查看crs状态

解决jupyter notebook无法找到虚拟环境的问题_jupyter没有pytorch环境-程序员宅基地

文章浏览阅读1.3w次,点赞45次,收藏99次。我个人用的是anaconda3的一个python集成环境,自带jupyter notebook,但在我打开jupyter notebook界面后,却找不到对应的虚拟环境,原来是jupyter notebook只是通用于下载anaconda时自带的环境,其他环境要想使用必须手动下载一些库:1.首先进入到自己创建的虚拟环境(pytorch是虚拟环境的名字)activate pytorch2.在该环境下下载这个库conda install ipykernelconda install nb__jupyter没有pytorch环境

国内安装scoop的保姆教程_scoop-cn-程序员宅基地

文章浏览阅读5.2k次,点赞19次,收藏28次。选择scoop纯属意外,也是无奈,因为电脑用户被锁了管理员权限,所有exe安装程序都无法安装,只可以用绿色软件,最后被我发现scoop,省去了到处下载XXX绿色版的烦恼,当然scoop里需要管理员权限的软件也跟我无缘了(譬如everything)。推荐添加dorado这个bucket镜像,里面很多中文软件,但是部分国外的软件下载地址在github,可能无法下载。以上两个是官方bucket的国内镜像,所有软件建议优先从这里下载。上面可以看到很多bucket以及软件数。如果官网登陆不了可以试一下以下方式。_scoop-cn

Element ui colorpicker在Vue中的使用_vue el-color-picker-程序员宅基地

文章浏览阅读4.5k次,点赞2次,收藏3次。首先要有一个color-picker组件 <el-color-picker v-model="headcolor"></el-color-picker>在data里面data() { return {headcolor: ’ #278add ’ //这里可以选择一个默认的颜色} }然后在你想要改变颜色的地方用v-bind绑定就好了,例如:这里的:sty..._vue el-color-picker

迅为iTOP-4412精英版之烧写内核移植后的镜像_exynos 4412 刷机-程序员宅基地

文章浏览阅读640次。基于芯片日益增长的问题,所以内核开发者们引入了新的方法,就是在内核中只保留函数,而数据则不包含,由用户(应用程序员)自己把数据按照规定的格式编写,并放在约定的地方,为了不占用过多的内存,还要求数据以根精简的方式编写。boot启动时,传参给内核,告诉内核设备树文件和kernel的位置,内核启动时根据地址去找到设备树文件,再利用专用的编译器去反编译dtb文件,将dtb还原成数据结构,以供驱动的函数去调用。firmware是三星的一个固件的设备信息,因为找不到固件,所以内核启动不成功。_exynos 4412 刷机

Linux系统配置jdk_linux配置jdk-程序员宅基地

文章浏览阅读2w次,点赞24次,收藏42次。Linux系统配置jdkLinux学习教程,Linux入门教程(超详细)_linux配置jdk

随便推点

matlab(4):特殊符号的输入_matlab微米怎么输入-程序员宅基地

文章浏览阅读3.3k次,点赞5次,收藏19次。xlabel('\delta');ylabel('AUC');具体符号的对照表参照下图:_matlab微米怎么输入

C语言程序设计-文件(打开与关闭、顺序、二进制读写)-程序员宅基地

文章浏览阅读119次。顺序读写指的是按照文件中数据的顺序进行读取或写入。对于文本文件,可以使用fgets、fputs、fscanf、fprintf等函数进行顺序读写。在C语言中,对文件的操作通常涉及文件的打开、读写以及关闭。文件的打开使用fopen函数,而关闭则使用fclose函数。在C语言中,可以使用fread和fwrite函数进行二进制读写。‍ Biaoge 于2024-03-09 23:51发布 阅读量:7 ️文章类型:【 C语言程序设计 】在C语言中,用于打开文件的函数是____,用于关闭文件的函数是____。

Touchdesigner自学笔记之三_touchdesigner怎么让一个模型跟着鼠标移动-程序员宅基地

文章浏览阅读3.4k次,点赞2次,收藏13次。跟随鼠标移动的粒子以grid(SOP)为partical(SOP)的资源模板,调整后连接【Geo组合+point spirit(MAT)】,在连接【feedback组合】适当调整。影响粒子动态的节点【metaball(SOP)+force(SOP)】添加mouse in(CHOP)鼠标位置到metaball的坐标,实现鼠标影响。..._touchdesigner怎么让一个模型跟着鼠标移动

【附源码】基于java的校园停车场管理系统的设计与实现61m0e9计算机毕设SSM_基于java技术的停车场管理系统实现与设计-程序员宅基地

文章浏览阅读178次。项目运行环境配置:Jdk1.8 + Tomcat7.0 + Mysql + HBuilderX(Webstorm也行)+ Eclispe(IntelliJ IDEA,Eclispe,MyEclispe,Sts都支持)。项目技术:Springboot + mybatis + Maven +mysql5.7或8.0+html+css+js等等组成,B/S模式 + Maven管理等等。环境需要1.运行环境:最好是java jdk 1.8,我们在这个平台上运行的。其他版本理论上也可以。_基于java技术的停车场管理系统实现与设计

Android系统播放器MediaPlayer源码分析_android多媒体播放源码分析 时序图-程序员宅基地

文章浏览阅读3.5k次。前言对于MediaPlayer播放器的源码分析内容相对来说比较多,会从Java-&amp;amp;gt;Jni-&amp;amp;gt;C/C++慢慢分析,后面会慢慢更新。另外,博客只作为自己学习记录的一种方式,对于其他的不过多的评论。MediaPlayerDemopublic class MainActivity extends AppCompatActivity implements SurfaceHolder.Cal..._android多媒体播放源码分析 时序图

java 数据结构与算法 ——快速排序法-程序员宅基地

文章浏览阅读2.4k次,点赞41次,收藏13次。java 数据结构与算法 ——快速排序法_快速排序法