Delta Lake 0.5.0 正式发布,支持包括 Hive/Presto 等多种查询引擎

开源大数据EMR 2019-12-18

SQL path 数据仓库 钉钉 spark 开源大数据 Redshift Hive html 并发控制

Delta Lake 0.5.0 于2019年12月13日正式发布,正式版本可以到 这里 下载使用。这个版本支持多种查询引擎查询 Delta Lake 的数据,比如常见的 Hive、Presto 查询引擎。并发操作得到改进。当然,这个版本还是不支持直接使用 SQL 去增删改查 Delta Lake 的数据,这个可能得等到明年1月的 Apache Spark 3.0.0 的发布。好了,下面我们来详细介绍这个版本的关键特性。

通过使用 manifest 文件来支持多种查询引擎

在之前版本的 Delta Lake,只支持使用 Spark 去查询 Delta Lake 的数据,使得它的使用场景有点限制。但是通过引入了 manifest 文件(参见 #76),我们可以使用 Presto/Amazon Athena 等查询引擎去查询 Delta



登录 后评论
下一篇
云栖号
8014人浏览
2020-03-04
相关推荐
0
0
0
962