Yoshua:深度学习AI迈向人类水平的挑战

简介:

CCF YOCSEF学术委员会主席唐杰和清华大学计算机系老师崔鹏共同主持讲座。讲座现场座无虚席,很多同学提前1个半小时就到现场去占座。

78d6f9ef5bbaf322fd9298e75d35cb5ef6c8f643

在本次讲座中,Yoshua教授介绍说目前的人工智能距离人类水平仍然十分遥远,当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战,即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,BabyAI框架等话题。

2d7b5620b3d703661903b31f449e1ef628793e09

他于2017年发表的论文《The Consciousness Prior》,里面提到与完整的状态相比,有意识的思想是非常低维度的对象,无意识的大脑=类似于基于规则的系统中的句子或规则,但它们具有意想不到的预测价值或有用性。

cf17d78ac2d84ad525db6d49b33e0b3727d433bc

论抽象与注意力的关系

 ●  注意力可以集中在大集合中的一些元素上
 ●  软关注允许通过基于梯度的优化来训练此过程backprop

 ●  与稀疏自动编码器不同:控制器有条件地选择焦点

d27d5b62341461b022bc27483df81f905bf925ce

关于认知的 system1 和 system2

两个系统(和认知任务的类别):

 ●  系统1:直观、快速的启发式,无意识的、非语言的,当前的深度学习能够做得很好。

 ●  系统2:缓慢的、有逻辑和顺序的,有意识的经典的符号AI试图做的事情

16cde2d77a0f881f23c55efa0f6d776937c5a4a0

教授提到一个很有意思的假设:外来语言理解:思想实验。

他让大家想象一下,你自己正在接近另一个星球并观察外星人相互交流所交换的信息与地球不同,它们的通信信道噪声很大,但是在地球上,带宽是昂贵的,最好的通信方式是最大限度地压缩消息,从而导致实际交换的随机比特序列。如果我们只观察压缩的消息,我们就无法理解外来语言。

那么我们怎样才能学会理解外星语言?

我们需要进行地面语言学习:我们需要观察外星人与他们的信息共同做些什么,试图破译他们的意图,背景等。为此,我们需要建立一个“外星世界模型”,它可以捕捉到他们行为的因果结构,从而改变他们的环境。

2151215d337a10f7feb52e07ca823717954ddd69

教授问道我们应该先学习一个世界模型,然后再学习它的自然语言描述?还是AI应该共同学习语言和世界?并表示自己更倾向于后者。他说考虑受监督的ImageNet分类器的顶级表示,与无监督学习所学到的相比,它们往往更好,更容易学习。为什么?因为语言(此处为对象类别)为学习者提供了相关语义高级因素的线索,从中可以更容易地进行概括。你无法单纯从大量的语言文本本身来理解它,必须同时学习world model和语言。

cc16029b40654c0c5094a998d6e062963ae8ceea

教授还提到了关于iid假设的弱化,即假设测试数据来自与训练数据相同的分布太强,并且在实践中经常被违反,导致分布不均匀的泛化。并表示建议考虑宽松的假设:测试数据是在相同的因果动力学下生成的,但是来自不同的初始条件,通常不太可能服从同样的训练分布。

5381807011b4bbd80ee331481f86c3ab808596dd

讲座最后设置了半个小时左右的提问环节,Yoshua教授既专业又幽默地回答了大家的问题,现场气氛十分活跃。

5659a792d89d6f0b87db3da8243783f063bf7d08


原文发布时间为:2018-11-11
本文作者:AMiner
本文来自云栖社区合作伙伴“ 数据派THU”,了解相关信息可以关注“ 数据派THU”。
相关文章
|
1月前
|
人工智能 运维 自然语言处理
智领,万象新生:智谱AI推动大模型商业化迈向新阶段
放眼当下的科技浪潮,AI大模型无疑是一年多来持续引人注目的焦点。基于大模型的算法推理,30秒即可生成完美可用的Word、PPT文档,工作时长不必再以小时计算;真人对话一般输入简短文字,就能在30秒内得到想要的图画、代码、文本、视频……大模型让科幻小说中的场景,走进了千行百业、千家万户的现实生活。
|
10天前
|
机器学习/深度学习 算法 PyTorch
fast.ai 深度学习笔记(三)(3)
fast.ai 深度学习笔记(三)(3)
26 0
|
10天前
|
机器学习/深度学习 PyTorch 算法框架/工具
fast.ai 深度学习笔记(三)(1)
fast.ai 深度学习笔记(三)(1)
31 0
|
11天前
|
机器学习/深度学习 固态存储 Python
fast.ai 深度学习笔记(四)(2)
fast.ai 深度学习笔记(四)
45 3
fast.ai 深度学习笔记(四)(2)
|
11天前
|
机器学习/深度学习 算法框架/工具 PyTorch
fast.ai 深度学习笔记(五)(4)
fast.ai 深度学习笔记(五)
67 3
fast.ai 深度学习笔记(五)(4)
|
机器学习/深度学习 自然语言处理 Web App开发
fast.ai 深度学习笔记(五)(3)
fast.ai 深度学习笔记(五)
113 2
fast.ai 深度学习笔记(五)(3)
|
11天前
|
机器学习/深度学习 API 调度
fast.ai 深度学习笔记(六)(3)
fast.ai 深度学习笔记(六)
80 6
fast.ai 深度学习笔记(六)(3)
|
机器学习/深度学习 计算机视觉 存储
fast.ai 深度学习笔记(七)(4)
fast.ai 深度学习笔记(七)
83 8
fast.ai 深度学习笔记(七)(4)
|
11天前
|
机器学习/深度学习 自然语言处理 搜索推荐
fast.ai 深度学习笔记(二)(3)
fast.ai 深度学习笔记(二)
86 2
fast.ai 深度学习笔记(二)(3)
|
11天前
|
算法框架/工具 机器学习/深度学习 PyTorch
fast.ai 深度学习笔记(一)(4)
fast.ai 深度学习笔记(一)
16 0
fast.ai 深度学习笔记(一)(4)