用AI算法分析光影看到盲点:这项MIT新研究偷学到二娃技能

简介:
本文来自AI新媒体量子位(QbitAI)

嗨少年,想不想来双透视眼?

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

虽然这听起来有些科幻,但近日,麻省理工学院(MIT)计算机科学和人工智能实验室(CSAIL)的研究人员发明了一种新算法,让你能够看到障碍物背后的物体。

这个AI系统可以借助智能手机的摄像头,收集光反射的相关信息,检测隐藏在障碍物后的任何物体,还能实时测量它们的移动速度和行进轨迹。

 原理讲解官方视频

半影与“角落相机”

换个画面感的解释吧:想象一下,你走在一条“L”形的走廊上,拐角的另一边放置了一堆杂物。这些杂物投射在你视线内地面上的少量光线,形成一个模糊的阴影,我们称之为“半影”(penumbra)。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

 发光体(非点光源)发出光线部分被非透明物体阻挡后,在屏幕(或其他物体)上所投射出来的,本影周围较暗的区域 | 图片来自维基百科

AI系统就利用了智能手机摄像头中半影的视频,将一系列一维图像组合在一起,揭示周围物体的信息。研究人员将这个“透视眼”系统称为“角落相机”(ConerCameras)。

640?wx_fmt=png&wxfrom=5&wx_lazy=1

 角落相机能将人眼难以发现的半影区清晰识别出来

“即使这些物体对相机来说不可见,但我们可以通过物体运动产生的半影判断物体的位置和移动情况,”该研究论文的第一作者Katherine Bouman表示,“用这种方法,隐藏在有边缘的墙或其他障碍物后的物体也可见了。”

优于激光

根据研究前辈的经验,大多数观察障碍物的方法都需要用到特殊的激光。具体来说,研究人员在可见光和隐藏的场景中都能看到特定点的摄像头,之后测量光返回的时间。

然而,这种基于时间飞行原理(time-of-flight,TOF)的相机造价高昂,受环境光线的影响很大,尤其在户外环境下,TOF相机就不那么好用了。

与之相反的是,CSAIL团队的这项技术无需积极地在空间中投影,无论室内还是室外的使用效果都很好。最重要的是,所需设备很常见,只需要一个基于网络的摄像头或者智能手机,以及一台运行算法的笔记本电脑。

通过在相机中观察半影,角落相机生成一维隐藏场景图像。单独的一张图像包含很多“噪声”数据,因此用处不大。但是通过几秒钟的观察场景,将收集到的图像“缝合”到一起,系统就能确定不同物体的移动速度和轨迹了。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

“这个概念本身就非常创新,想让它在实际生活中发挥作用既需要创新性,又考验研究人员的研究能力。”美国南卫理公会大学的院长Marc Christensen评价。“这项研究我们帮助扩大设备的成像能力,使之并不局限在人类实现能观察到的范围。”Christensen说。

CSAIL还惊奇地发现,角落相机在雨天等恶劣天气下也不会受到明显影响。

“考虑到雨水会改变地面的颜色,我原本以为我们无法看到细微的光线变化,”Bouman感慨,“但因系统通过多张图像收集信息,雨滴作用于每一张图像上,因此我们仍然能从中看到物体的运动。”

助力自动驾驶

这个系统也有一些明显缺陷:如果场景中没有光线,则系统就无效;如果隐藏的场景本身光线暗,系统的识别也会有问题;如果光线条件发生变化,它也会受影响,比如在户外云不断地穿过太阳。此外,智能手机的相机像素也影响收集的图像质量,相机里障碍物越远,系统收集的图像质量也越差。

研究人员正计划通过未来的研究解决这些问题,他们下一个目标是测试系统是否能在移动的平台上运行。研究人员想让它成为未来汽车碰撞回避系统的一部分,这将是一个必要的功能。

MIT计算机视觉研究员、论文合著者Vickie Ye希望通过与CSAIL机器人技术研究生Felix Nase的合作,测试系统的稳定性。目前,研究人员即将测试系统在轮椅上的性能,这也是在无人驾驶汽车上尝试的前奏。

“如果一个孩子突然冲到街上,司机可能无法及时做出反应,”Bouman说。“虽然我们还没有达到这个目标,但这样的技术总有一天会为驾驶员多争取几秒钟的反应时间。”

这项工作得到了美国国防部高级研究计划局(DARPA)、国家科学基金会、壳牌研究和国防科学与工程研究生奖学金的支持,相关论文将于本月晚些时候在威尼斯召开的国际计算机视觉会议上发表。

二娃的本事,什么时候被这个AI系统学到了 。

640?wx_fmt=jpeg&wxfrom=5&wx_lazy=1

本文作者:安妮 
原文发布时间:2017-10-10
相关文章
|
1月前
|
机器学习/深度学习 人工智能 监控
AI算法分析,智慧城管AI智能识别系统源码
AI视频分析技术应用于智慧城管系统,通过监控摄像头实时识别违法行为,如违规摆摊、垃圾、违章停车等,实现非现场执法和预警。算法平台检测街面秩序(出店、游商、机动车、占道)和市容环境(垃圾、晾晒、垃圾桶、路面不洁、漂浮物、乱堆物料),助力及时处理问题,提升城市管理效率。
AI算法分析,智慧城管AI智能识别系统源码
|
1月前
|
机器学习/深度学习 编解码 人工智能
麻省理工AI新研究可将马赛克变视频
【2月更文挑战第30天】麻省理工学院等机构的研究团队推出AI新技术FeatUp,可将低分辨率图像提升为高清视频,该技术在2024年ICLR会议上引起关注。FeatUp基于深度特征提取,通过多视角一致性损失恢复空间信息,提高视频清晰度。模型通用性强,适用于多种任务和现有应用。实验显示,它在图像超分辨率和端到端学习模型性能提升上超越其他方法。然而,尚存在对某些内容处理不完善和计算资源需求高的局限性。
55 2
麻省理工AI新研究可将马赛克变视频
|
19天前
|
人工智能 监控 数据可视化
【项目管理】AI时代项目经理必备技能
【项目管理】AI时代项目经理必备技能
|
1月前
|
人工智能 监控 算法
java智慧城管源码 AI视频智能分析 可直接上项目
Java智慧城管源码实现AI视频智能分析,适用于直接部署项目。系统运用互联网、大数据、云计算和AI提升城市管理水平,采用“一级监督、二级指挥、四级联动”模式。功能涵盖AI智能检测(如占道广告、垃圾处理等)、执法办案、视频分析、统计分析及队伍管理等多个模块,利用深度学习优化城市管理自动化和智能化,提供决策支持。
223 4
java智慧城管源码 AI视频智能分析 可直接上项目
|
1天前
|
移动开发 算法 数据可视化
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例
数据分享|Spss Modeler关联规则Apriori模型、Carma算法分析超市顾客购买商品数据挖掘实例
|
3天前
|
算法 数据可视化 大数据
圆堆图circle packing算法可视化分析电商平台网红零食销量采集数据
圆堆图circle packing算法可视化分析电商平台网红零食销量采集数据
33 13
|
9天前
|
算法 数据可视化 Python
Python中LARS和Lasso回归之最小角算法Lars分析波士顿住房数据实例
Python中LARS和Lasso回归之最小角算法Lars分析波士顿住房数据实例
14 0
|
10天前
|
算法 定位技术 Windows
R语言最大流最小割定理和最短路径算法分析交通网络流量拥堵问题
R语言最大流最小割定理和最短路径算法分析交通网络流量拥堵问题
15 4
|
15天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
40 0
|
24天前
|
机器学习/深度学习 人工智能 架构师
【架构师】AI时代架构师必备技能
【架构师】AI时代架构师必备技能