性能

#性能#

已有22人关注此标签

内容分类

云栖号资讯小哥

Serverless Spark的弹性利器 - EMR Shuffle Service

###背景与动机 ####计算存储分离下的刚需 计算存储分离是云原生的重要特征。通常来讲,计算是CPU密集型,存储是IO密集型,他们对于硬件配置的需求是不同的。在传统计算存储混合的架构中,为了兼顾计算和存储,CPU和存储设备都不能太差,因此牺牲了灵活性,提高了成本。

云栖号资讯小哥

云原生计算引擎挑战与解决方案

云原生背景介绍与思考 图一是基于ECS底座的EMR架构,这是一套非常完整的开源大数据生态,也是近10年来每个数字化企业必不可少的开源大数据解决方案。主要分为以下几层: ECS物理资源层,也就是Iaas层 数据接入层,例如实时的Kafka,离线的Sqoop 存储层,包括HDFS和OSS,以及EMR自研的缓存加速JindoFS 计算引擎层,包括熟知的Spark,Presto、Flink等这些计算引擎 数据应用层,如阿里自研的Dataworks、PAI以及开源的Zeppelin,Jupyter 每一层都有比较多的开源组件与之对应,这些层级组成了最经典的大数据解决方案,也就是EMR的架构。

云栖号资讯小哥

数据湖构建服务搭配Delta Lake玩转CDC实时入湖

什么是CDC Change Data Capture(CDC)用来跟踪捕获数据源的数据变化,并将这些变化同步到目标存储(如数据湖或数据仓库),用于数据备份或后续分析,同步过程可以是分钟/小时/天等粒度,也可以是实时同步。

云栖号资讯小哥

多引擎集成挖掘湖上数据价值

数据湖已经逐步走到了精细化的管理,这意味着原始的计算引擎直接读写存储的方式应当逐步演变为使用标准方式读写数据湖存储。然而“标准方式”实际上并无业界标准,与具体的计算引擎深度绑定,因此,支持计算引擎的丰富程度也就成了衡量数据湖的一个准则。

云栖号资讯小哥

数据湖架构,为什么需要“湖加速”?

在开源大数据领域,存储/计算分离已经成为共识和标准做法,数据湖架构成为大数据平台的首要选择。基于这一范式,大数据架构师需要考虑三件事情: 第一,选择什么样的存储系统做数据湖(湖存储)? 第二,计算和存储分离后,出现了性能瓶颈,计算如何加速和优化(湖加速)? 第三,针对需要的计算场景,选择什么样的计算引擎(湖计算)? 湖存储可以基于我们熟悉的HDFS,在公共云上也可以选择对象存储,例如阿里云OSS。

西天_Jackie

阿里云发布应用负载均衡ALB,加速企业应用交付

在阿里云2020年云栖大会上,阿里云智能网络产品研究员祝顺民发布了应用型负载均衡(Application Load Balancer,后文简称ALB)。ALB是下一代专注应用层的负载均衡产品。相对传统型负载均衡SLB,此次推出的ALB产品从架构、特性、容灾、协议以及配置方式上做了全新设计,成为面向更多元业务场景需求的应用层高级负载。

云栖号资讯小哥

用尽每一寸GPU,阿里云cGPU容器技术白皮书重磅发布!

背景 云原生已经成为业内云服务的一个趋势。在云原生上支持异构计算,这个功能在标准的Docker上已经可以很好的支持了。为了进一步提高GPU的利用率、避免算力浪费,需要在单个GPU上可以运行多个容器,并且在多个容器间隔离GPU应用,这在标准的Docker上是无法做到的。

最佳实践小文

KVM on弹性裸金属

阿里云最佳实践频道:【点击查看更多上云最佳实践】这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 神龙是一款兼具虚拟机弹性和物理机性能及特性的新型计算产品,为用户上云提供便捷。