场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
同时,因为在 Spark中,Driver和 Executor 文档版本:20200409 20 Spark on ECI大数据分析 Spark on Kubernetes实践方案对比 之间的启动顺序是串行的,对于一些响应时间要求高的应用,由于 Driver Pod本身资 源占用少,且在启动 Driver Pod以后才是大规模的 Executor Pod启动;因此为了提 升分析作业应用的响应速度,可以让...