南开大学开源新图像分割算法,刷新精度记录 | 资源

简介:

最近,南开大学提出一种边缘检测和图像分割算法,被称为首个在图像分割数据集BSDS500上F值(F-Feature)超越数据集本身人工标注平均值的实时算法。

作者之一程明明在微博介绍说,算法中每一步(stage)里的所有卷积层都是有用的,而非过去只要每步最后一个卷积层。

“这是很通用的技巧,基本上干什么任务都用得着,改几行代码就能实现。”程明明说。

目前算法已经开源,一起看一下。

方法介绍

简单来说,研究人员提出一种利用RCF(richer convolutional features)的精准边缘检测器,还能通过反向传播进行训练。

在广泛使用的图像分割数据集BSDS500上进行基准测试时,这个算法在ODS(固定轮廓阈值)情况下,F值达到0.811;在评估速度为30FPS(每秒帧率)情况下,RCF OSD F值达到0.806,达到了比较好的结果。

这是怎么做到的?

研究人员先基于VGG16框架,构建了一个简单的神经网络。可以看出,从conv3_1层到conv4_3层,生成的图像在不断变粗糙,且中间层中包含的很多细节并没有被其它层利用。

21abcf5eff0e5a3a6de97985e9aa31f1a0e6c8b5

这可不行。在研究人员提出这种RCF架构,输入任意大小的图像,就能输出相同大小的边缘映射图。

研究人员将所有来自卷积层的层次特征组合成一个整体框架,其中所有参数均可自动学习多尺度和多水平的特征,检测边缘信息。

80295b7a7d00a56043bf6684edc06d2d388e7cab

这个多尺度算法的pipeline如下:

8bc277fbf1c4438490fc34a796209b710e8ce835

先改变原始图像的大小构建一组图像金字塔(image pyramid),将这些图像输入到RCF网络进行前向传递。随后,用双线性插值法将边缘检测图恢复为原始大小,这些边缘图的平均值将输出成高质量边缘检测图。

在BSDS500数据集上评估时,这种方法超过了数据集原始的人类标注平均值。

a3483c41fe0e17e606065b76e3d47e3619fa414d

当被问到这个算法是否超越人类时,程明明表示,算法目前只能获得比BSDS500基准测试的普通人类注释更好的F值,还不能说是“超越”人类。

“如果给人类标注员更多的时间和训练,人类会做得更好。”程明明说。

来自南开大学

目前,这项研究的论文Richer Convolutional Features for Edge Detection已被IEEE TPAMI(IEEE Transactions on Pattern Analysis and Machine Intelligence)期刊收录。

06e9a680116e961246089f52f9b171e1d02e9869

论文由Yun Liu(刘云)、Ming-Ming Cheng(程明明)、Xiaowei Hu(胡晓伟)、Jia-Wang Bia、 Le Zhang、Xiang Bai和Jinhui Tang 7人完成,其中前四位研究人员均来自南开大学媒体计算实验室。

媒体计算实验室主要研究针对可视媒体信息的智能计算方法,在实验室主页上我们看到,实验室“2019级入学的博士生和硕士生已经招满”。

一作刘云本科也毕业于南开大学,现为程明明的博士生,参与的论文经常在CVPR、ACCV和PRCV等顶会现身。

论文二作程明明本科毕业于西电 ,在牛津大学深造完成后回国,虽然只有34岁,已经是南开大学教授、国家“万人计划”青年拔尖人才,首批天津市杰出青年基金获得者了。

82f839fdea36e16e2cddf1f83d6cab2c446e4348

程明明

原文发布时间为:2018-10-29
本文作者:关注前沿科技
本文来自云栖社区合作伙伴“ 量子位”,了解相关信息可以关注“ 量子位”。
相关文章
|
11天前
|
算法 TensorFlow 算法框架/工具
基于直方图的图像阈值计算和分割算法FPGA实现,包含tb测试文件和MATLAB辅助验证
这是一个关于图像处理的算法实现摘要,主要包括四部分:展示了四张算法运行的效果图;提到了使用的软件版本为VIVADO 2019.2和matlab 2022a;介绍了算法理论,即基于直方图的图像阈值分割,通过灰度直方图分布选取阈值来区分图像区域;并提供了部分Verilog代码,该代码读取图像数据,进行处理,并输出结果到"result.txt"以供MATLAB显示图像分割效果。
|
2月前
|
Rust Dart 算法
55.3k star!开源算法教程,附带动画图解,学习算法不再苦恼!
55.3k star!开源算法教程,附带动画图解,学习算法不再苦恼!
|
2月前
|
算法 计算机视觉 索引
基于四叉树的图像分割算法matlab仿真
基于四叉树的图像分割算法matlab仿真
基于四叉树的图像分割算法matlab仿真
|
3月前
|
机器学习/深度学习 存储 文字识别
模型精度不降反升!飞桨是这样改进PACT量化算法的!
模型精度不降反升!飞桨是这样改进PACT量化算法的!
51 0
|
3月前
|
人工智能 自然语言处理 算法
CodeFuse成功支持通义千问算法大赛,评测方案已开源
首届通义千问AI挑战赛成功举办,CodeFuse 为大赛提供技术支持,模型微调框架 MFTCoder 和 CodeFuseEval 评测框架为大赛保驾护航,助力大赛圆满完成。我们基于leetcode 阿里和蚂蚁最新面试题库建设了“模型赛马”在线打榜的评测方案,目前验证集已作为 CodefuseEval 的一项任务在 Github 上开放,欢迎大家下载使用。
74 1
|
5月前
|
机器学习/深度学习 算法 计算机视觉
【计算机视觉】图像分割中FCN、DeepLab、SegNet、U-Net、Mask R-CNN等算法的讲解(图文解释 超详细)
【计算机视觉】图像分割中FCN、DeepLab、SegNet、U-Net、Mask R-CNN等算法的讲解(图文解释 超详细)
67 0
|
5月前
|
算法 数据挖掘
[Halcon&图像] 阈值分割算法拓展
[Halcon&图像] 阈值分割算法拓展
58 1
|
5月前
|
算法
[Halcon&图像] 图像阈值分割算法汇总
[Halcon&图像] 图像阈值分割算法汇总
81 0
|
5月前
|
算法 计算机视觉
OpenCV4-图像分割-watershed(分水岭算法)
1.分水岭概念 分水岭法是根据像素灰度值之间的差值寻找相同区域以实现分割的算法。我们可以将灰度值理解成像素的高度,这样一张图像可以看成崎岖不平的地面或者山区。向地面低洼的地方倾倒一定量的水,水将会掩盖低于某个高度的区域。
80 0
|
5月前
|
算法 关系型数据库 程序员
限时!字节跳动大牛2个月标星达70k的算法笔记,免费开源
我说算法有“化腐朽为神奇的力量”你信吗? 算法是计算机科学领域最重要的基石之一,但却受到了国内一些程序员的冷落。许多学生看到一些公司在招聘时要求的编程语言五花八门就产生了一种误解,认为学计算机就是学各种编程语言,或者认为,学习最新的语言、技术、标准就是最好的铺路方法。其实大家都被这些公司误导了。