Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
前言 前言 概述 本实践结合阿里云容器服务 Kubernetes版（ACK）、弹性容器实例（ECI）、容器镜像 服务（ACR）以及文件存储 HDFS等核心阿里云产品，为需要使用 Spark on Kubernetes 解决方案的用户提供计算资源弹性扩展、分布式应用隔离以及资源限制的实践参考。应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 ...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
创建容器镜像服务，登录阿里云容 器镜像仓库，替换示例中的 registry.cn-shenzhen.aliyuncs.com/devops-te部分），通过以下命令行执行以下命名：go build docker build-t registry.cn-shenzhen.aliyuncs.com/devops-te/user:v1 . docker push registry.cn-shenzhen.aliyuncs.com/devops-te/user:v1 步骤2 修改配置。...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
步骤8 使用步骤 6的命令，将 imageId替换为上面记录的镜像 ID，镜像版本设置为 v1，执行上述三行命令，把本地镜像推送到容器镜像服务。推送成功后，镜像访问地址 为（请记录备用）：registry.cn-beijing.aliyuncs.com/devops01/multi:v1 在 password处，输入镜像服务密码。步骤9 推送完成后，点击镜像版本，可以查看到 v1...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
36 文档版本信息：20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 37 文档版本信息：20191209 RAPIDS加速机器学习 使 用容器服 务 A CK部署 RAPIDS环境 步骤6 阅读、同意并勾选阿里云容器服务 Kubernetes版服务条款和免责声明，并单击确 定。集群显示创建成功。38 文档版本信息：20191209 RAPIDS加速机器...
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
容器镜像服务ACR.Cloud Toolkit 云插件.29A_行业实战场景-copy.29A_【标题】客户案例.唐家哲,靖鑫,也树.从了解阿里云 SAE 到使用 SAE 进行应用架构升级共经历 3 周，这 3 周我们系统能承载的 QPS 从 5000 增强到 10 万，提升 20 倍，轻松应对了春晚大促流量洪波。并且，SAE 还帮助我们降低了 20%的使用成本，研发效率提升 ...
来自：
云产品
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
产品列表 阿里云最佳实践分享群 最佳实践频道 容器 Kubernetes ACK 容器实例 ECI 容器镜像仓库 ACR 函数计算 FC 访问控制 RAM 如二维码过期，专有网络 VPC 请搜索群号：31852400 云服务器 ECS 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 ECI+FaaS 构建游戏战斗结算服 最佳实践 文档版本：...
跨阿里云账号采集日志
跨阿里云账号采集日志可以实现多个账号间的日志共享和集中管理，降低了管理成本和风险，提高了日志数据的安全性和可靠性。同时，跨账号日志采集还可以满足多租户场景下的日志管理需求，提高了系统的可扩展性。
立即部署 30分钟 1元（假设您选择最低规格资源，且资源运行时间不超过1小时。实际情况中可能部分实例无法购买需要根据实际情况调整资源规格，同时因您操作过程中实际使用的流量差异，会导致费用有所...优惠购买 阿里云为你推荐优惠购买云产品 优惠购买 10000007185 10000011758 10000009644 免费试用 10000007666 10000011871
来自：
技术解决方案
智能应对流量变化，容器化集群的弹性攻略
本方案使用应用型负载均衡和容器服务Kubernetes版智能分配网络流量，提高应用的高可用性和吞吐量，使用Kubernetes的cluster-autoscaler社区开源组件以及Kubernetes的Horizontal Pod Autoscaler内置组件进行弹性伸缩，提升资源利用率，缩减资源成本。
导致费用有所变化，请以控制台显示的实际报价以及最终账单为准）容器服务Kubernetes版 负载均衡 日志服务 专有网络VPC ACK支持节点伸缩弹性和Pod伸缩弹性 在 Kubernetes（K8s）环境中，Pod是最小的部署单位，它代表着集群中可以被创建和管理的最小的可部署计算实例，一个Pod由一个或多个容器（例如 Docker 容器）组成，这些...
来自：
技术解决方案
灵活调度，高效编排，容器化管理云上应用
阿里云容器服务Kubernetes版以其强大的容器编排能力、丰富的生态集成和高度的可扩展性，让企业轻松高效地在云端运行Kubernetes容器化应用。本方案介绍如何高效、快速地在ACK上编排与部署应用。
架构与部署 容器化管理云上应用 本方案介绍如何快速地在阿里云容器服务Kubernetes版（ACK）上部署应用，使用镜像在ACK中部署应用，使用ALB作为Ingress对外提供服务。方案中包含两个应用，应用A和应用B，其中应用A依赖应用B，以此来模拟真实场景中应用依赖关系。立即部署 60分钟 10元（假设您配置ACK产品和ALB产品时均选择...
来自：
技术解决方案
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、系 统日志和云产品日志，实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云：使用多云架构的用户都需要有一个统一...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
BJ-TO-SH）步骤4 配置华东2（上海）到华北2（北京）IDC容器Prometheus指标上报路由，共2条 SH-TO-BJ-Prometheus-1 SH-TO-BJ-Prometheus-2 文档版本：20240322 22容器多云统一监控日志 场景验证 步骤5 配置华东2（上海）到华北2（北京）镜像仓库服务路由共2条 SH-TO-BJ-ACR SH-TO-BJ-ACR-Auth 文档版本：20240322 23容器多云...
云效Maven公共仓库-阿里云
云效，新型企业级一站式协同研发平台，源于阿里巴巴多年先进的管理理念和工程实践，提供从“需求->编码->测试->发布->运维->运营”端到端的协同服务和研发工具支撑。云效将战略规划、敏捷研发、持续集成、持续交付、DevOps等理念引入银行、保险、民航等大型企业和互联网初创企业，支持公有云、专有云和混合云的协同研发，助力企业产品快速创新迭代和研发效能升级。
阿里云Maven公共仓库提供了maven central、jcenter、google、spring等常用maven制品仓库的镜像功能。用户可以通过页面浏览仓库内容、检索和下载制品。阿里云对制品下载链路进行深度优化，速度更快，使用更稳定.提供对maven central、jcenter、google、spring、grails等库的镜像代理.完备Maven公共制品仓库.完备Maven公共...
来自：
云产品
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器服务(ACK)解决问题 应用实时监控服务ARMS 调用链可以帮助运维人员解决以下问题： 阿里云NAT网关（NATGateway） 故障排查：当请求失败或出现错误时，调用链 微服务引擎MSE 可以显示整个请求的路径和每个服务的执行情 弹性公网IP 况，从而帮助运维人员快速定位问题所在。 云速搭CADT 性能优化：通过...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
容器镜像服务
阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。 ACR 支持全球同步加速、大规模/大镜像分发加速、多代码源构建加速等全链路提效，与容器服务 ACK 无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案。
阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。ACR 支持全球同步加速、大规模/大镜像分发加速、多代码源构建加速等全链路提效，与容器服务 ACK 无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案.ACR EE 基础版首购限时优惠，低至 200元/...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您