Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
阿里云的虚拟容 器组实例（ECI）完全兼容原生的 Kubernetes，通过与阿里云容器服务 Kubernetes 版（ACK）的结合，能够为业务驱动型、拥抱云原生进行容器化改造并且专注数据应 用的用户带来更多的数据分析优势。计算引擎弹性扩缩容，兼顾资源弹性与计算资源成本优化。计算与存储分离架构，拥有海量数据湖分析优势。利用 ...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
（操作步骤请参见远程连接容 器组的 host节点）步骤5 在两个 host节点之间互 ping（从一个节点上 ping另一个节点的 IP地址），记录平均 用时。可用区 F->G 文档版本：20220126 32 搭建高性能 ACK集群最佳实践 跨可用区性能测试对比 可用区 G->F 平均值：1.61 ms。2.2.2.multiip 步骤1 定位到 deploy-multiip应用的容器组，...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
容器服务 Kubernetes 版简化集群的搭建和扩容 等工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes 容器化应用运行环境。详见：https://www.aliyun.com/product/kubernetes 容器镜像服务 ACR：Alibaba Cloud Container Registry，默认实例版提供基础的 容器镜像服务，包括安全的应用镜像托管...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
容 器服务 ACK在部署时，会自动安装 helm工具，因此这里不需要再安装了。1.#helm install piggymetrics piggymetrics 2.NAME:piggymetrics-1583419148 3.LAST DEPLOYED:Thu Mar 5 22:39:08 2020 4.NAMESPACE:piggymetrics 5.STATUS:deployed 6.REVISION:1 7.TEST SUITE:None 创建成功后，到控制台查看，无状态应用：17 企业...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
Dubbo应用上云 最佳实践 部署架构 场景描述 本最佳实践...yum install-y yum-utils yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install-y yum-utils device-mapper-persistent-data lvm2 yum-config-manager-add-repo ...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
分别在 node2、node3、node4节点上执行 2.4章节步骤 6中生成的 kubeadm join命 令。本节以 node2节点为例介绍操作步骤。操作步骤 步骤1 将 node2 节点加入集群。node3、node4按同样的方式加入集群。步骤2 在 Master节点 node1上确认所有节点都处于 Ready状态。kubectl get nodes 至此，K8S集群部署完成。文档版本：20210520...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
名词解释 容器服务 Kubernetes版（ACK）：容器服务 Kubernetes版提供高性能可伸缩的容 器应用管理服务，支持企业级 Kubernetes（K8S）容器化应用的生命周期管理。容器服务 Kubernetes版简化集群的搭建和扩容等运维工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes容器化应用运行环境。阿里 云容器...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署，通 过 ARMS监控发现微服务应用的容错能力是否 健壮，容器编排配置是否合理，以及节点故障引 发的问题等，方案通过 AHAS故障注入模拟生 产环境产生的故障，通过 ARMS及时发现问题、定位问题，并结合 ARMS的告警功能快速...
云速搭自定义扩容ACK集群
本实践借助云速搭 CADT，针对ACK集群自定义扩容场景，以“CADT控制台”和“CADT API”两种不同的实现方式进行演示。
云速搭自定义扩容 ACK集群 文档版本信息 云速搭 自定义扩容 ACK集群 最佳实践 文档版本：20220818（发布日期）云速搭自定义扩容 ACK集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭自定义扩容 ACK集群 文档编号 311 文档版本 V1.0 版本日期 2022-08-18 文档状态 对外发布 制作人 厉博 审阅人 文档变更...
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构，实现终端浏览器发起http(s)请求后，经过 ALB 监听配置的转发规则，分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
文档版本：20211028 33 云速搭部署 ALB实现负载分发 验证通过 ALB转发到ACK集群实现负载分发 步骤4 ACK配置 配置项 配置明细 集群名称 ack-product 集群规格 Pro版 Kubernets版本 1.18.8-aliyun.1 容器运行时 Docker 19.03.5 Worker部署可用区 cn-hangzhou-i 网络插件 Flannel Pod网络 CIDR 192.168.0.0/17 Service CIDR ...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
基于链路追踪+ECI的洪峰流量应对 最佳实践 业务架构 场景描述 云原生技术已经为越来越多的互联网客户接 受，对于在线教育、互动娱乐、电商等类型的 客户会由于业务的原因存在突增业务流量，因 此对于系统的稳定性非常关注，结合阿里云的 容器服务、链路追踪、弹性容器 ECI等产品，帮助客户发现应用链路中的瓶颈，同时应对洪...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
简单、低 和 Worker 理 成本，Master免运 维 免费（用户承担 免费（用户承担 收费 按容器实例的使用资源 Master和 Worker的 Worker 的资源费 方式 量和时长（秒）计费 资源费用）用）典型 批量任务，突发扩容，所有场景 所有场景 场景 CI/CD测试 容器服务：容器服务提供高性能可伸缩的容器应用管理服务，支持用 Docker 和 ...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
文档版本：20240226 I 微服务引擎的线上流量治理 前言 前言 产品介绍 专有网络 VPC（Virtual Private Cloud）：帮助您基于阿里云构建出一个隔离的网络 环境，并可以自定义 IP 地址范围、网段、路由表和网关等；此外，也可以通过专 线/VPN/GRE等连接方式实现云上 VPC与传统 IDC的互联，构建混合云业务。更 多信息，请参见：...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
容器服务 Kubernetes 版简化集群的搭建和扩容 等工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes 容器化应用运行环境。详见：https://www.aliyun.com/product/kubernetes PTS（Performance Testing Service）：是面向所有技术背景人员的云化测试工具。有别于传统工具的繁复，PTS以互联网化的交互...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
注意：docker启动时下载镜像失败，可能是网络原因，也有可能 docker hub上的镜像 没了，可以单击查看具体的提示说明，如果是网络问题，可以单击编辑并“更新”。文档版本：20200608（发布日期）13 RI和SCU全链路使用实践 RI/SCU购买验证 服务状态，单击 gateway后面的外部端点，稍等几分钟后，打开应用如下：文档版本：...
云管对接实现已有节点加入ACK集群
企业内部伴随着业务量增加，对 ACK 集群扩容属于高频操作，部分企业有一些特殊的 要求，例如节点规格需要灵活指定，系统需要重新初始化从而符合企业内部规范等。 直接通过节点池扩容显得不够灵活，例如缺少库存校验等能力，扩容有可能失败，扩 容完成后需要手动修改节点的配置，自动化程度较低，增加了运维人员的负担。
云管对接实现已有节点加入 ACK集群 最佳实践 场景描述 企业内部伴随着业务量增加，对 ACK集群扩容 属于高频操作，部分企业有一些特殊的要求，例 如节点规格需要灵活指定，系统需要重新初始化 从而符合企业内部规范等。直接通过节点池扩容 显得不够灵活，例如缺少库存校验等能力，扩容 有可能失败，扩容完成后需要手动修改...
云原生ACK应用管理实践
在Kubernetes平台中，一个应用可能包含多个Kubernetes子资源，在应用部署完成以后，可以从统一的视角展现整体应用的拓扑结构，同时对于持续部署等场景做到统一的版本管理与回滚。 场景描述 云原生时代的到来，用户在使用Kubernetes进行应用管理的同时也面临着一些痛点和挑战。 遇到的痛点： 应用编排文件如何管理。 应用包含哪些K8s资源，能否统一管理。 如何管理应用版本，能否快速回滚。 方案优势 多集群低成本容灾，日常迭代版本一键同发。 国内站、国际站多地域部署业务，版本同发。 应用维度查看/管理工作负载（相关资源聚合）。 同一套编排，多环境发布，大幅降低出错率。
容器服务 ACK简化集群的搭建和扩容等运维工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes容器化应用运行环境。应用中心：提供给部署在 Kubernetes集群中的应用一个统一的入口视图，帮助用 户全局地了解应用的部署形态，同时以 Git、Helm Chart为载体，将应用以版本 化的方式部署到 Kubernetes...
云速搭部署ACK集群
通过云速搭实现 ACK 的部署
专有网络由逻辑网络设备（如虚拟路由器，虚拟交 换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境，实现应用的平滑迁移上云。详见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
如二维码过期，产品列表 请搜索群号：31852400 专有网络 VPC 容器服务 ACK 云速搭 CADT 日志服务 SLS 基于日志服务构建业务可观察性系统 文档版本信息 阿里云 基于日志服务构建业务 可观察性系统 最佳实践 文档版本：20210616（发布日期）基于日志服务构建业务可观察性系统 文档版本信息 文档版本信息 文本信息 属性 内容 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在本案例里，采用 serverless版本的 Kubernetes来模拟业务应用的运行平台，这种 类型的托管服务，无需创建和管理 K8s里面的 Master和 worker，其底层基于 ECI容 器实例，按容器实例的使用资源量和时长（秒）计费 ASK的主要有以下几点优势：降低用户 kubernetes的门槛，无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
- 产品推荐
- 这些文档可能帮助您