学界丨先睹为快:神经网络顶会ICLR 2018论文接受结果速览

简介:

今天早晨,ICLR 2018的论文接受结果揭晓,我们就带大家来大致了解一下今年ICLR 2018的论文接受概况。

ICLR全称International Conference of Learning Representation,是由Lecun,Hinton和Bengio三位神经网络的元老联手发起的。近年来随着深度学习在工程实践中的成功,ICLR会议也在短短的几年中发展成为了神经网络的顶会。

论文接受率:

2.3%的口头展示,31.4%的poster接受,9%的workshop,51%拒绝。

ICLR口头展示论文速览:

ICLR口头论文中一大半的论文会成为ICLR Best paper,同时也代表了2018年的研究方向,下面我们就简单的介绍一下今年的oral论文,由于ICLR会议的论文范围较广,方向比较新,我们也不能够做到面面俱到。

Wasserstein Auto-Encoders (Max Planck Institute)

这篇论文提出了在Variation Auto-Encoder中使用Wasserstein距离进行度量,从而第一次让VAE能够产生跟Generative Adversarial Network比肩的效果。并且WAE在理论上面联系了VAE和GAN。是一篇不可多得理论与实践兼得的好论文。WAE产生的图像如下图:

704c8a58832c847f9098fcb4ed1aa57702324fe0

Spherical CNNs (阿姆斯特丹大学Max Welling组)

卷积神经网络只能够在2D planar图像中使用,但是近年来很多问题如机器人运动,自动驾驶需要对spherical image进行分析。传统的方法是将spherical image投影到2D planar图像,但是这个过程会产生distortion,如下图:

5591856b459083b997e100bad48f406026efa41a

于是作者提出了spherical CNN。Spherical CNN通过傅立叶变换来避免过度的计算。通过傅立叶变换来实现spherical CNN的示意图如下:

ee6faf6a5df7aeb762811fa15a45856a7f8cf637

相信本篇论文提出的spherical CNN能够在自动驾驶,机器人运动的任务中得到广泛的应用。

Boosting Dilated Convolution with Mixed Tensor Decomposition

本篇论文通过tensor decomposition的角度来分析神经网络,并且提出了mix tensor decomposition的方法来提高神经网络的表达能力。作者在实践中使用了mix dilation的办法来进行mix tensor decomposition。结构图如下:

92171ab482c2b85ebff6f5d13536bc0c01ac02a9

两个对偶的网络weight sharing,仅仅通过dilation的变化就可以得到不同的连接,提高神经网络的expressive efficiency。

本篇论文的理论分析详尽,并且论文讲述简单易懂,美中不足的是实验部分太弱,但是也不影响该论文被接受为oral。

Ask the right questions:active question reformulation with reinforcement learning(Google)

这篇论文提出了一个做question answering的新的思路,通过question reformulation将一个问题转换成类似的问题,然后反复的选择最佳问题。Question reformulation和answer selection通过强化学习进行训练。流程图如下:

78a82274a2d6a7bfaf092b09c82f50836028d3b0

ICLR趣闻


由于ICLR的审稿意见是公开的,所以我们可以看到作者和审阅者之间的思想碰撞,下面我们就介绍一些有趣的事情。

Mix-up vs “Data Augmentation by paring samples for images classification”

这两篇论文提出了类似的方法,通过将数据库的图像的线形组合来做Data Augmentation,并且在CIFAR,IMAGENET上面都取得了好的结果,但是Mix-up被接受,paring samples被拒绝。

Matrix capsules with EM routing

这篇论文是神经网络之父的CapsuleNet的后续,也被ICLR接受了,Geoffrey Hinton是该论文的第一作者。

Progressive Growing of GANs

这篇论文是NVIDIA提出的使用GAN生成high resolution image的论文,由于在论文中违反了double blind原则,在review阶段被拒绝(strong reject),但是由于其amazing的结果,在最后阶段被ICLR接收。

附上大会及相关链接,感兴趣的读者可以自行查看:

ICLR 2018会议链接:

https://openreview.net/group?id=ICLR.cc/2018/Conference

论文链接:

Ask the right question:

https://openreview.net/pdf?id=S1CChZ-CZ

Wasserstein Auto-Encoders:

https://openreview.net/pdf?id=HkL7n1-0b

Spherical CNNs:

https://openreview.net/pdf?id=Hkbd5xZRb


原文发布时间为:2018-01-30
本文作者:不看镜头的ZARD
本文来自云栖社区合作伙伴“ 大数据文摘”,了解相关信息可以关注“ 大数据文摘”微信公众号
相关文章
|
1月前
|
机器学习/深度学习 人工智能 自然语言处理
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
【2月更文挑战第17天】ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
59 2
ICLR 2024 Spotlight:训练一个图神经网络即可解决图领域所有分类问题!
|
2月前
|
机器学习/深度学习 编解码 计算机视觉
【APFN】从大佬论文中探索如何分析改进金字塔网络
【APFN】从大佬论文中探索如何分析改进金字塔网络
45 0
|
2月前
|
计算机视觉
【论文复现】经典再现:yolov4的主干网络重构(结合Slim-neck by GSConv)
【论文复现】经典再现:yolov4的主干网络重构(结合Slim-neck by GSConv)
51 0
【论文复现】经典再现:yolov4的主干网络重构(结合Slim-neck by GSConv)
|
1月前
|
机器学习/深度学习 开发者
论文介绍:基于扩散神经网络生成的时空少样本学习
【2月更文挑战第28天】论文介绍:基于扩散神经网络生成的时空少样本学习
16 1
论文介绍:基于扩散神经网络生成的时空少样本学习
|
2月前
|
机器学习/深度学习 计算机视觉 Python
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
57 0
【SKConv】即插即用!来自CVPR 2019的选择性内核网络帮你论文涨点
|
2月前
|
机器学习/深度学习 存储 设计模式
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
架构设计新范式!RevCol:可逆的多 column 网络式,已被ICLR 2023接收
28 0
|
3月前
|
机器学习/深度学习 网络架构 计算机视觉
CNN经典网络模型之GoogleNet论文解读
GoogleNet,也被称为Inception-v1,是由Google团队在2014年提出的一种深度卷积神经网络架构,专门用于图像分类和特征提取任务。它在ILSVRC(ImageNet Large Scale Visual Recognition Challenge)比赛中取得了优异的成绩,引入了"Inception"模块,这是一种多尺度卷积核并行结构,可以增强网络对不同尺度特征的感知能力。
|
3月前
|
SQL XML Java
计算机毕设论文|基于网络超市商品销售管理系统的设计与实现
计算机毕设论文|基于网络超市商品销售管理系统的设计与实现
|
1月前
|
机器学习/深度学习 数据采集 人工智能
m基于深度学习网络的手势识别系统matlab仿真,包含GUI界面
m基于深度学习网络的手势识别系统matlab仿真,包含GUI界面
41 0
|
1月前
|
机器学习/深度学习 算法 计算机视觉
基于yolov2深度学习网络的火焰烟雾检测系统matlab仿真
基于yolov2深度学习网络的火焰烟雾检测系统matlab仿真