Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
专有网络 VPC 4.Spark submit方式提交分析作业参数支持 容器镜像服务 ACR 有限等缺点。文档版本:20200401(发布日期)云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 Spark on ECI大数据分析 最佳实践 文档版本:20200409(发布日期)文档版本:20200409 1 Spark on ECI大数据分析 文档...
来自: 最佳实践 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
开通阿里云容器镜像服务 ACR 步骤1 因为部署 Web端录制应用需要将应用模板使用的镜像发布到用户自己的镜像仓库中,所以需要使用到阿里云容器镜像服务 ACR。打开 ACR 控制台(https://cr.console.aliyun.com/cn-beijing/instances),创建容器镜像服务实例,生产 中建议创建企业版实例,在该最佳实践中,可以创建个人版。...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
Serverless 应用引擎SAE
Serverless 应用引擎 SAE(Serverless App Engine)是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s,秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用(如 Web /微服务 /Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。
容器镜像服务ACR.Cloud Toolkit 云插件.推荐搭配使用.持续集成与交付.多种部署方式,实现最优持续交付流程.应用全生命周期管理.提供从创建到运行的应用全生命周期管理服务,支持分批、灰度、金丝雀等多种发布策略,支持按流量灰度。发布过程可观测、可回滚.平台工程能力.秒级完成从源代码仓库或War、Jar代码包部署 SAE 应用...
来自: 云产品
模型在线服务PAI-EAS
模型在线服务PAI-EAS( Elastic Algorithm Service ) 是阿里云人工智能PAI的模型在线服务平台,将模型一键部署为在线推理服务或AI-Web应用,高吞吐低延时,支持自动扩缩容和完整运维监控体系等能力。
容器镜像服务 ACR.查看更多商品.免费试用EAS,体验模型在线推理服务.免费试用EAS,支持A10、T4、G6机型,体验模型在线推理服务.<人工智能平台平台PAI.模型在线服务 PAI-EAS(Elastic Algorithm Service)是模型在线服务平台,支持用户将模型一键部署为在线推理服务或AI-Web应用。PAI-EAS 适用于实时推理、近实时异步推理等...
来自: 云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK(容器服务Kubernetes版,简称ACK)支持企业级K8s容器化应用的全生命周期管理,提供高性能可伸缩的容器应用管理能力,助力企业高效运行云端K8s容器化应用。
2024-01-23容器镜像服务 K8s 拉取镜像失败您可以按照以下方式对拉取镜像慢或失败的问题进行排查:1、如果您使用的阿里云容器服务 Kubernetes 集群,可以先在容器服务控制台选择对应集群,并在容器组页面找到相应的问题 Pod,点击旁边的诊断按钮发起自助诊断。2、如果您使用 ACR 拉取镜像,请确认用户名或密码是否正确。建议...
来自: 云产品
容器多云统一监控日志
<em>容器</em>多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
BJ-TO-SH)步骤4 配置华东2(上海)到华北2(北京)IDC容器Prometheus指标上报路由,共2条 SH-TO-BJ-Prometheus-1 SH-TO-BJ-Prometheus-2 文档版本:20240322 22容器多云统一监控日志 场景验证 步骤5 配置华东2(上海)到华北2(北京)镜像仓库服务路由共2条 SH-TO-BJ-ACR SH-TO-BJ-ACR-Auth 文档版本:20240322 23容器多云...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
容器镜像服务 ACR.企业级分布式应用服务 EDAS.应用高可用服务 AHAS.应用实时监控服务 ARMS.消息队列 MQ.分布式云容器平台 ACK One.容器服务 ACK 发行版.Prometheus 监控服务.Grafana 服务.事件总线 EventBridge.云服务总线 CSB.云原生应用交付平台 ADP.Serverless 工作流.服务网格 ASM.应用配置管理 ACM.云原生应用平台.API...
来自: 云产品
弹性计算
阿里云弹性计算提供弹性可伸缩的计算服务,助您降低 IT 成本,提升运维效率,使您更专注于核心业务创新。经十年深厚技术积淀,阿里云弹性计算技术先进、性能优异、 稳如磐石,致力于提供永不停机的计算服务。
容器镜像服务 ACR.弹性伸缩(Auto Scaling)是根据用户的业务需求和策略,经济地自动调整弹性计算资源的管理服务.阿里云资源编排服务(简称 ROS)是一种简单易用的云计算资源自动化部署服务.阿里云运维编排服务(OOS)是一个全面的云上自动化运维平台,提供了运维任务的管理和执行.一个事件驱动的全托管计算服务,通过函数...
来自: 云产品
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
详见:https://www.aliyun.com/product/eci 容器镜像服务 ACR:提供企业级镜像安全托管能力,具备大规模镜像分发能力,支持千节点镜像并发拉取,保障业务极速部署,解决大镜像分发难、多节点拉取慢 难题。拥有企业级安全独享特性,镜像经加密存储在用户 OSS Bucket,提供镜像 安全扫描、细粒度网络访问控制等,进一步保障...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
基于ALB的统一流量调度和监控
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
详见:https://www.aliyun.com/product/pts 容器镜像服务:阿里云容器镜像服务(简称 ACR)是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。ACR 支持全球同步加 速、大规模/大镜像分发加速、多代码源构建加速等全链路提效,与容器服务 ACK 无缝集成,帮助企业降低交付复杂度,打造云原生...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
自建K8S集群迁移ACK弹性裸金属集群
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后,企业在享受K8S带来应 用管理的便利的同时,存在硬件性能不足,本 地扩展性差,容器容灾难,K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性:如何通过弹性裸金属服务 器的强劲硬件性能,实现云端资源急速扩 展,从容应对应用访问压力大的问题。 2.如何简化云端K8S运维:通过阿里云容器服 务(ACK)实现敏捷开发和部署落地,加速 企业业务迭代。 3.如何综合考虑迁移和容灾:如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云:如何实现应用上云数据 库连接零修改。 5.数据库上云及回退:如何实现上云回退; 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
容器镜像服务简化了 Registry的搭建运 维工作,支持多地域的镜像托管,并联合容器服务等云产品,打造云上使用 Docker 的一体化体验。详见:https://www.aliyun.com/product/acr 弹性裸金属服务器(神龙):弹性裸金属服务器(ECS Bare Metal Instance)是一 文档版本:20220128 III 自建 K8S集群迁移 ACK弹性裸金属集群 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,NAT网关,弹性裸金属服务器(神龙),云速搭
云效流水线
云效流水线是一款企业级、自动化的研发交付流水线, 提供灵活易用的持续集成、持续验证、持续发布功能,帮助企业高质量、高效率的交付业务。
全面对接阿里云ECS/ACK/ACR/OSS等多种云服务,通过流水线串联阿里云产品整体使用路径.深度集成阿里云.支持虚拟主机、K8S等发布方式;支持蓝绿、分批、金丝雀等多种发布策略,支持快速回滚.强大的发布策略.精细化的权限管控体系和消息触达体系;丰富的企业模板;支持流水线批量管理.丰富的企业级特性.云效还提供项目管理、...
来自: 云产品
SAP S/4HANA上云最佳实践
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型,阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
详见:https://www.aliyun.com/product/pts 容器镜像服务:阿里云容器镜像服务(简称 ACR)是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。ACR 支持全球同步加 速、大规模/大镜像分发加速、多代码源构建加速等全链路提效,与容器服务 ACK 无缝集成,帮助企业降低交付复杂度,打造云原生...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,VPN网关
云原生ACK应用管理实践
云原生ACK应用管理实践
在Kubernetes平台中,一个应用可能包含多个Kubernetes子资源,在应用部署完成以后,可以从统一的视角展现整体应用的拓扑结构,同时对于持续部署等场景做到统一的版本管理与回滚。 场景描述 云原生时代的到来,用户在使用Kubernetes进行应用管理的同时也面临着一些痛点和挑战。 遇到的痛点: 应用编排文件如何管理。 应用包含哪些K8s资源,能否统一管理。 如何管理应用版本,能否快速回滚。 方案优势 多集群低成本容灾,日常迭代版本一键同发。 国内站、国际站多地域部署业务,版本同发。 应用维度查看/管理工作负载(相关资源聚合)。 同一套编排,多环境发布,大幅降低出错率。
容器镜像服务 ACR 2.国内站、国际站多地域部署业务,版本同 发。专有网络 VPC 3.应用维度查看/管理工作负载(相关资源聚 阿里云 Code 合)。4.同一套编排,多环境发布,大幅降低出错 率。阿里云最佳实践分享群 最佳实践频道 解决问题 1.应用编排文件如何管理 2.应用包含哪些 K8s资源?能否统一管理问 题 3.如何管理应用版本...
来自: 最佳实践 | 相关产品:容器服务 ACK
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
容器镜像服务 ACR提供云原生资产的安全托管和全生命周期管理,支持多场景下镜像的高效分发,与 ACK 无缝集成,打造云原生应用一站式解决方案。服务网格 ASM通过流量控制、网格观测及服务间通信安全等功能,服务网格ASM可以全方位为运行在异构计算基础设施上的服务提供统一流量管理。弹性容器实例 ECI无需管理底层 ECS ...
来自: 云产品
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
这个 项目主体基于 DockerCompose部署,包含了完整的源代码以及构建好的容器镜像,是非常不错的 SpringCloud容器化示例。其源代码可以到如下地址获取:https://github.com/sqshq/PiggyMetrics 其应用可以到如下地址访问:https://piggymetrics.tk/ PiggyMetrics其实是一个个人财务管理解决方案,其拥有非常简单漂亮的管理...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
云平台内部操作透明化
云平台内部操作透明化
场景描述 云平台基于用户的请求或监管要求等,进行的内 部操作对用户如果不可见,用户可能会担心自己 的数据是否收到了影响或者是否被触碰了,影响 用户对平台的信任。 解决问题 1.内部操作对用户可见 2.增强用户对平台的可信度 产品列表 操作审计Actiontrail 对象存储OSS 日志服务SLS
已经产品化的部分 目前阿里云已经有10款重点产品发布内部操作透明化能力(对象存储服务OSS、块 存储服务EBS、云服务器ECS、云数据库RDS、密钥管理服务KMS、大数据处理系 统解决方案服务EMR、访问控制服务RAM、大数据计算服务ODPS、容器服务ACK 以及容器镜像服务ACR),可以将和用户相关的内部操作日志透明化给到用户。...
来自: 最佳实践 | 相关产品:对象存储 OSS,日志服务(SLS),操作审计
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
 容器服务ACK  容器镜像ACR  消息队列RocketMQ版 最佳实践频道  弹性公网IP http://bp.aliyun.com  NAT网关 阿里云最佳实践分享群  云速搭CADT 钉钉搜索钉群号31852400入群 微服务引擎MSE用户交流群 钉钉搜索钉群号43525005207入群云服务器ECS(产品名称)文档模板(手册名称)/文档版本信息 基于SpringCloud...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
使用函数计 算,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版:云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用