间谍卫星的基础?YOLT——利用卷积神经网络对卫星影像进行多尺度目标检测(Part I)

简介: 利用卷积神经网络(CNN)对卫星影像进行多尺度目标检测,该文是在YOLO模型的基础上改进提出YOLT模型,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。

本文由北邮@爱可可-爱生活 老师推荐,阿里云云栖社区组织翻译。

以下为译文: 9b10b6d6a2c8e92f9d4dbdea63c5a0ee790a86bb

利用卷积神经网络,对于卫星影像中多尺度目标检测而言,你只需要看两次(Part I

在大片物体中检测小物体一直是卫星图像分析感兴趣的主要点之一。早期的工作是利用本地滑动窗和HOG特征描述确定船的位置,但存在的缺点是高度不均匀背景下分辨不清晰。为了解决这一问题,实现了一种基于你只要看两眼的物体检测流水线,该方法极大的提高了背景区分,并能够在不同尺度和多个传感器上快速检测出物体。

卫星图像目标检测概述

卫星图像库与ImageNet数据库不一样,存在四个问题:卫星图像的对象往往是非常小的并围绕成一个圆、输入图像巨大、训练数据相对缺乏;积极的一面是物体的物理和像素规模是实现已知的,观察角度也是低变化的。

0296b2799d992953741ea2fa5b1d356addb808ae 

1. 《纽约时报》截图显示俄罗斯设计武器实物模型愚弄遥感仪器。

HOG船检测挑战

HOG+滑动窗物体检测方法在前期工作中取得瞩目成果,为了探索该方法的限制,将其应用于场景不太均匀的背景。

99dd33dd6aac12a5fdd58ee12fe514f9c74cc45e 

2.HOG+滑动窗应用于不同传感器的结果。假阴性显示是红色,手工标记显示是黄色,误报显示是蓝色,真阳性显示是绿色

使用深度学习进行物体检测

在卫星图像上采用YOLO框架去完成目标检测,该框架使用了单一的卷积层(CNN)去预测类别和边界。这种快速方法结合获取背景信息的能力使得其应用在卫星图像中是引人注目的。

CNN与滑动窗结合的方法可以取得客观的效果,但是难以计算。另外一个缺点是,滑动窗只可以看到图像的一小部分,从而丢弃有用的背景信息。该YOLO框架解决了背景差异的问题,并扩展成大的数据集。

ddefdcf7f3e9d8898f7dfcf63965a966928bcdf0 

3. 说明YOLO框架的缺省

该框架确实是有些局限性,但在文献中封装了三个问题,具体问题可以参看文献和原文

针对这些问题,提出了YOLT框架,解决了上述的三个问题,分别使用滑动窗上采样以寻找小的物体、在多尺度上运行探测器;增加训练数据;定义新的网络架构使得最后的卷积层有更紧密的网格。

YOLT框架的输出的后处理结合了各种图形芯片,这些修改使得每秒44帧的速度降低为每秒18帧。如果寻找密集物体不是必须的,最大图形尺寸应该会增加2-4倍。

YOLT训练数据

训练数据收集大图像中的小块,每个对象的标签是由边界框和类标识符组成。

主要集中以下四类:

  •  开放水域的船
  •  在港湾的船
  •  飞机
  •  飞机场

b7ad17937438d699d2b99bb7bf75d915384caefa

4. YOLT训练数据

fa416cef697e1dcd85e653ba34753ca96198a39e 

5. 训练图像在色相和饱和度上旋转和缩放

YOLT目标检测结果

对评估测试图像使用相同的评价标准;对于海上区域的评估,关注相同的区域。在硬件上仿真后,与之前方法的结果相比,HOG+滑动窗是用来训练分类船和船的航向,而YOLT是用来训练产生船和飞机的位置信息。具体性能分析请见原文。

d97af6f2776f5011ae89c2e997aca4b9fcf79429 

6. YOLTAOI1的性能

703df51bb612d0f4f8d2303eaa68c1cb46117c41 

7. YOLTAOI2的性能

3066516990394ec10e40c07ba8056b7722c573a1

8. YOLTAOI3的性能 

0d0446626d702de91513ad700721858fe5f7550e

9. YOLTAOI4的性能

  c1dcdf6f767eed85acbcba4d77853cec35b8dcae

10. YOLT在美济礁使用如图2所示的相同卫星测试的结果

a9d600c9c2f9913ae5a7b2090d09153742293956 

11. YOLT应用到苏伊士运河的南入口的卫星图像

 25b00743795196e1fbccb721f5f2c251806176a4

12. YOLT检测应用到DigitalGlobe图像中,上图拍摄于希斯罗机场

结论

这篇文章中,展示了一个经典机器学习技术应用于卫星图像目标检测的局限性;为了解决这个局限性,实现了一个完全卷积神经网络分类(YOLT)去快速获得卫星图像中的船只和飞机的位置,在稀疏场景的分类性能证明比HOG+滑动窗方法更好。

Part II部分,将探讨在完全不同尺度上检测目标,比如在船只、飞机和跑道上的挑战。

        数十款阿里云产品限时折扣中,赶紧点击领劵开始云上实践吧!

文章原标题《You Only Look Twice — Multi-Scale Object Detection in Satellite Imagery With Convolutional Neural Networks (Part I)》,作者:Adam Van Etten

文章为简译,更为详细的内容,请查看原文

                                             翻译:海棠

相关文章
|
2月前
|
编解码 缓存 计算机视觉
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-1
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-1
117 0
|
2月前
|
机器学习/深度学习 编解码 自然语言处理
YOLOv8改进 | 主干篇 | RevColV1可逆列网络(特征解耦助力小目标检测)
YOLOv8改进 | 主干篇 | RevColV1可逆列网络(特征解耦助力小目标检测)
82 0
YOLOv8改进 | 主干篇 | RevColV1可逆列网络(特征解耦助力小目标检测)
|
3月前
|
编解码 数据可视化 固态存储
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
CV目标检测 Task02: 练死劲儿-网络设计 打卡笔记
22 0
|
3月前
|
机器学习/深度学习 算法 计算机视觉
【论文速递】CVPR2022-弱监督旋转不变的航空目标检测网络
【论文速递】CVPR2022-弱监督旋转不变的航空目标检测网络
|
2月前
|
算法 PyTorch 计算机视觉
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
89 1
改进的yolov5目标检测-yolov5替换骨干网络-yolo剪枝(TensorRT及NCNN部署)-2
|
26天前
|
机器学习/深度学习 算法 计算机视觉
|
3月前
|
机器学习/深度学习 计算机视觉 网络架构
【论文速递】CVPR2022-弱监督旋转不变的航空目标检测网络
【论文速递】CVPR2022-弱监督旋转不变的航空目标检测网络
|
2月前
|
机器学习/深度学习 编解码 算法
助力目标检测涨点 | 可以这样把Vision Transformer知识蒸馏到CNN模型之中
助力目标检测涨点 | 可以这样把Vision Transformer知识蒸馏到CNN模型之中
36 0
|
2月前
|
机器学习/深度学习 编解码 数据可视化
RecursiveDet | 超越Sparse RCNN,完全端到端目标检测的新曙光
RecursiveDet | 超越Sparse RCNN,完全端到端目标检测的新曙光
47 0
|
2月前
|
计算机视觉
YOLOv5改进 | 主干篇 | 低照度图像增强网络SCINet改进黑暗目标检测(全网独家首发)
YOLOv5改进 | 主干篇 | 低照度图像增强网络SCINet改进黑暗目标检测(全网独家首发)
67 3