阿里云计算能力实现新突破 BigBench全球首次达到100TB

本文涉及的产品
交互式建模 PAI-DSW,5000CU*H 3个月
简介:

在10月11日开幕的“2017杭州·云栖大会”首日主论坛,阿里云总裁胡晓明重点介绍新一代计算平台MaxCompute+PAI。
image

在12日的主论坛中,阿里巴巴集团副总裁,搜索事业部&计算平台事业部负责人周靖人说,数据是机器智能创新的基础,拥有充沛的计算能力才能全面释放数据的价值。随后周靖人与英特尔公司数据中心事业部副总裁Rob Hays共同进行BigBench On MaxCompute[1] 2.0+PAI的重磅发布。本次发布突破了TPCx-BB[2] 公布的各项历史最佳成绩,体现出MaxCompute极强的大规模数据处理能力以及公共云相对传统模式的绝对优势。
image

目前TPC官网公布的测试最大规模为10TB,最佳性能1491.23BBQpm,最高性价比589 Price/BBQpm。而此次阿里云发布的BigBench on MaxCompute 2.0+PAI,在全球范围内首次将规模拓展至100TB,成为首个达到7000分的引擎,也成为首个基于公共云服务的Benchmark。

据介绍,大会结束后,MaxCompute会在公共云开放一个月的测试环境,并开源BigBench On MaxCompute+PAI的SDK(继承自TPCx-Bigbench,并使之运行在阿里云的大数据环境上),供开发者验证试用。

BigBench on MaxCompute在规模上的巨大突破,得益于MaxCompute的海量数据处理能力和机器学习算法高效性,MaxCompute基于阿里云自主研发的分布式操作系统飞天,单集群服务器规模可以达到万台以上,数据规模达到EB级。

在性能上MaxCompute新一代处理引擎从Compiler、Optimizer、runtime等模块进行的持续深度优化。提供高性能计算的同时,阿里云机器学习PAI也为用户提供了强大的算法实验平台,包括传统的机器学习,也包括最新的深度学习以及增强学习等。同时为了满足阿里巴巴各种业务场景对于算法的需求,PAI 提供了大量的算法以及工具,并在性能以及数据规模上做了各种优化。

此外,MaxCompute与Intel开展深度合作,软硬结合深度优化,充分发挥Intel至强®可扩展处理器架构优势。英特尔数据中心事业部副总裁Robert Hays - ”我们非常高兴能够和阿里云共同在最新的英特尔® 至强® 可扩展处理器平台上对MaxCompute进行深度优化,并见证阿里云MaxCompute在BigBench测试中表现出的优异成绩“。

那么,究竟BigBench on MaxCompute2.0+PAI可以为开发者释放哪些计算红利,以帮助开发者抓住更多市场机遇呢?
1、 突破规模限制。当BigBench作业的数据量达到10T以上时,市面上大多数产品会遇到各种瓶颈,无法进一步扩展。BigBench on MaxCompute可以将数据规模扩展到100T,轻松满足用户业务上不断增长的数据量需求。
2、 不断降低成本。采用传统的硬件厂商+软件的方式需要购买服务器。虽然服务器成本可以分摊到服务器生命周期,但是硬件成本是逐年下降的,购买硬件服务器相当于用更高的价格预购未来的计算资源,必然导致抬高成本。BigBench采用pirce/QPM的方式计算性价比。与传统的采购硬件的方式相比,MaxCompute支持预付费和按量付费,计价方式非常灵活,性价比具有显著优势。
3、 满足扩展性需求。互联网时代数据量需求随时可能会迎来爆炸式增长。传统的购买硬件方式周期太长,无法及时响应需求。BigBench on MaxCompute可按需扩充,实时响应企业数据扩展需求。
4、 免服务运维。传统的硬件机房需要有运维团队保证,一般用户无法保证高质量的运维。BigBench on MaxCompute采用公有云免运维方式,企业客户不需投入专门的运维人员进行维护。
BigBench on MaxCompute基于TPCx-BB进行修改,兼容所有TPCx-BB语义。作为工业级Benchmark,TPCx-BB涵盖了大数据处理的多种作业类型,包括SQL、MapReduce、Streamling、MachineLearning等。BigBench on MaxCompute对这些作业类型完成了覆盖,展示了MaxCompute在大数据处理的软件栈完整性,下表是BigBench on MaxCompute的软件栈列表:

image

BigBench on MaxCompute作为工业级benchmark,展示了MaxCompute在大数据软件栈的完整性,并且从规模、成本、扩展性等多个方面都有更好表现。
BigBench on MaxCompute的接入十分方便,企业客户只需满足如下条件就能轻松接入使用。

  1. 拥有阿里云账户;
  2. 需要BigBench on MaxCompute套件;
  3. 安装MaxCompute客户端。
    具体使用方式参照MaxCompute官方文档和BigBench on MaxCompute接入指南。

[1] BigBench on MaxCompute, 基于TPCx-BB衍生出来,兼容TPCx-BB所有语义。
[2] TPCx-BB, 事务性能管理委员会(TPC*)于2016年2月正式发布TPCx-BB(BigBench)。第一个基于端到端的大数据分析领域应用级测试基准。

相关实践学习
使用PAI-EAS一键部署ChatGLM及LangChain应用
本场景中主要介绍如何使用模型在线服务(PAI-EAS)部署ChatGLM的AI-Web应用以及启动WebUI进行模型推理,并通过LangChain集成自己的业务数据。
机器学习概览及常见算法
机器学习(Machine Learning, ML)是人工智能的核心,专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能,它是使计算机具有智能的根本途径,其应用遍及人工智能的各个领域。 本课程将带你入门机器学习,掌握机器学习的概念和常用的算法。
相关文章
|
7月前
|
安全 UED
阿里云首次入围DaaS魔力象限,是唯一入围的中国厂商
Gartner®正式发布《桌面即服务魔力象限》(Magic Quadrant™ for Desktop as a Service),阿里云首次入选该象限,也是唯一入围的中国厂商,被评为利基者(Niche Players)。
|
8月前
|
Kubernetes Cloud Native Dubbo
Forrester 首次面向中国的开源报告:阿里云在云原生领域开源布局最全面
Forrester 首次面向中国的开源报告:阿里云在云原生领域开源布局最全面
507 1
|
10月前
|
云安全 存储 安全
深度 | 阿里云·云主机智能纵深防御体系首次揭秘
深度 | 阿里云·云主机智能纵深防御体系首次揭秘
219 0
|
10月前
|
云安全 存储 安全
深度阿里云云主机智能纵深防御体系首次揭秘
阿里云云主机智能纵深防御体系。通过对海量网络攻防数据的深度解析与过滤,结合中心化决策系统,实现了高检测率和低误报率,攻击水位下降90%。
6248 2
深度阿里云云主机智能纵深防御体系首次揭秘
|
10月前
|
机器学习/深度学习 安全 Cloud Native
历史首次!阿里云与浙大斩获数据库顶会SIGMOD最佳论文,成果已在PolarDB中落地
数据库漏洞检测提速100倍,阿里云与浙大成果斩获202 3SIGMOD最佳论文奖
|
10月前
|
存储 城市大脑 数据中心
13年来首次全年盈利!阿里云进入高质量发展阶段
13年来首次全年盈利!阿里云进入高质量发展阶段
616 0
|
存储 人工智能 编解码
阿里云助力抖音首次世界杯直播,为中国球迷提供超低延时高清体验
国际顶级体育赛事的背后越来越多地出现阿里云的身影。继东京夏奥、北京冬奥之后,阿里云再次成功支持2022卡塔尔世界杯的国内直播。
186 0
|
NoSQL Java 中间件
阿里云首次体验
首次使用云的一些感想。
142 1
|
存储 弹性计算 缓存
阿里云通用算力型u1实例云服务器优势、价格及计算能力和使用场景介绍
通用算力型u1实例云服务器是阿里云刚刚推出的新品云服务器,通用算力型实例提供100%真实算力,稳定性高,算力保障,可满足大多数场景下的应用需求,是一款具有高性价比的实例。现在促销活动价仅需158.15元起,折扣低至低至3.8折起。下面是通用算力型u1实例云服务器的详细收费标准及活动报价汇总,以供大家参考选择。
阿里云通用算力型u1实例云服务器优势、价格及计算能力和使用场景介绍
|
存储 弹性计算 固态存储
阿里云存储价格100GB/1TB/50TB/500GB空间费用大全
阿里云云存储怎么收费?云存储1GB空间容量多少钱?如果是OSS对象存储1GB价格是0.12元/GB/月,标准存储包1TB一年价格999元;NAS文件存储100GB价格是30元一个月,500G空间150元/月;块存储高效云盘40G空间14元/月
14706 0
阿里云存储价格100GB/1TB/50TB/500GB空间费用大全

热门文章

最新文章