场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
配置项 说明 付费模式 按量付费 地域及可用区 华东 1 可用区 H 实例 架构:x86计算 分类:大数据型 实例规格:ecs.d1ne.2xlarge 镜像 类型:公共镜像 版本:CentOS 7.6 64位 存储 系统盘:高效云盘 40 GiB 网络 专有网络 选择已创建的 VPC(AGP_VPC)和交换机(AGP_VPC_S3)。安全组 选择已创建的安全组 AGP-spark-master。...