SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SAE让您免运维IaaS和K8s,秒级完成从源代码/代码包/Docker镜像部署任何语言的在线应用(如Web/微服务/Job任务)到SAE,并自动伸 缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。文档版本:20240428 3SLS数据入湖Kafka最佳实践 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作: 注册阿里云...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力。云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云 架构管理的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
阿里云最佳实践容器workshop
阿里云最佳实践<em>容器</em>workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
CPU=0.25表示使用 1/4个 core 步骤2 默认会以镜像版本生成环境变量 PKG_RELEASE,容器创建成功之后,可以登录到 内部查看环境变量是否生效。步骤3 将日志目录/var/log/nginx挂载到临时目录(emptyDir卷),方便本机日志查看。步骤4 日志配置,通过 SLS日志服务来查看日志,并可以通过 sls来做统计、聚合等操作。日志库...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
容器跨可用区高可用
<em>容器</em>跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
容器服务 Kubernetes 版简化集群的搭建和扩等工作,整合阿里云虚拟化、存储、网络 和安全能力,打造云端最佳的 Kubernetes 容器化应用运行环境。详见 https://cn.aliyun.com/product/kubernetes 文件存储 NAS:是一个可共享访问,弹性扩展,高可靠,高性能的分布式文件系 统。它基于 POSIX 文件接口,天然适配原生操作...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
容器Swarm集群向ACK集群灰度迁移
<em>容器</em>Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善,越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
容器服务:容器服务(Container Service)提供了高性能可伸缩的容器应用管理服务,支 持在一组云服务器上通过 Docker 容器来进行应用生命周期管理。容器服务极大地简化了 用户对容器管理集群的搭建工作,无缝整合了阿里云虚拟化、存储、网络和安全能力,打 造 Docker 云端最优化的运行环境。容器服务提供了多种应用发布方式...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,容器服务 ACK
ACK容器平台集群安全控制
ACK<em>容器</em>平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
文档版本:20220207 34 ACK容器平台集群安全控制最佳实践 Kubernetes集群的Security Context 首先创建普通模式的 Pod和特权模式的 Pod 例如对比可以看到特权容器可以看到更多的设备信息:步骤4 根据需要来添加或者删除容器细粒度的内核能力 相比与让容器运行在特权模式下可以给予其无限的权限,更安全的做法是只赋予容器 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,负载均衡 SLB,容器服务 ACK,访问控制,云速搭
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
docker ps-a 删除指定容器docker rm-f 9582ef19ec06 文档版本:20210616 12 RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 部署Docker Engine-Community 3.2.配置镜像加速 默认安装的 Docker使用官方提供的中央镜像仓库,由于网络等原因,访问稳定性和镜 像的下载速度常常都不令人满意。我们通过使用阿里云提供的加速镜像...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
名词解释 容器服务 Kubernetes版(ACK):容器服务 Kubernetes版提供高性能可伸缩的 应用管理服务,支持企业级 Kubernetes(K8S)容器化应用的生命周期管理。容器服务 Kubernetes版简化集群的搭建和扩容等运维工作,整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳的 Kubernetes容器化应用运行环境。阿里 云容器...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
阿里云的虚拟 组实例(ECI)完全兼容原生的 Kubernetes,通过与阿里云容器服务 Kubernetes 版(ACK)的结合,能够为业务驱动型、拥抱云原生进行容器化改造并且专注数据应 用的用户带来更多的数据分析优势。计算引擎弹性扩缩容,兼顾资源弹性与计算资源成本优化。计算与存储分离架构,拥有海量数据湖分析优势。利用 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
注意:以下命令仅为示例,请联系讲师获取完整的下载地址,并替换命令中的相关内 。cd/mnt wget-c https://oss-cn-zhangjiakou-internal.aliyuncs.com/imagenet*/imagenet.tgz tar xvf imagenet.tgz 下载训练脚本[root@master001~]#git clone https://code.aliyun.com/best-practice/099.git [root@master001~]#cd 099...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
详见:https://www.aliyun.com/product/acr 弹性容器实例 ECI:Elastic Container Instance,是敏捷安全的 Serverless 运行服务。您无需管理底层服务器,只需要提供打包好的镜像,即可运行容器,并仅为容器实际运行消耗的资源付费。详见:https://www.aliyun.com/product/eci 文档版本:20210520 V 混合云 IDC自有 K8S...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
Docker可以让开发者打包自己的应用以及依赖包到一个轻量级、可移植的容器中,然后发布到任何一个流行的 Linux环境上。通过简单的命令即可实 现运行环境、依赖包版本等标准化统一。步骤1 为计算节点绑定 EIP 步骤2 ssh远程 ECS计算节点 ssh root@EIP 步骤3 安装 Docker 文档版本:20220321 14 E-HPC低成本实现量化策略回测 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
SpringCloud应用托管到ACK服务
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
服务 ACK在部署时,会自动安装 helm工具,因此这里不需要再安装了。1.#helm install piggymetrics piggymetrics 2.NAME:piggymetrics-1583419148 3.LAST DEPLOYED:Thu Mar 5 22:39:08 2020 4.NAMESPACE:piggymetrics 5.STATUS:deployed 6.REVISION:1 7.TEST SUITE:None 创建成功后,到控制台查看,无状态应用:17 企业...
来自: 最佳实践 | 相关产品:容器服务 ACK
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
Dubbo应用上云 最佳实践 部署架构 场景描述 本最佳实践...yum install-y yum-utils yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install-y yum-utils device-mapper-persistent-data lvm2 yum-config-manager-add-repo ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
自建K8S迁移镜像、应用至阿里云ACK最佳实践
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
容器服务 Kubernetes 版简化集群的搭建和扩 等工作,整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳的 Kubernetes 容器化应用运行环境。详见:https://www.aliyun.com/product/kubernetes  容器镜像服务 ACR:Alibaba Cloud Container Registry,默认实例版提供基础的 容器镜像服务,包括安全的应用镜像托管...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
由于 PiggyMetrics是基于 Docker来部署的微服务应用,需要首先修改为不通过容器 化部署方式,便于在本地调测和修改应用。本章剩下的部分将详细描述如何在本地构 建开发环境,并成功启动 PiggyMetrics应用。PiggyMetrics微服务依赖 MongoDB和 RabbitMQ,因此从 2.2节介绍如下内容:在阿里云 ECS上部署 MongoDB和 RabbitMQ。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
来了解更多常见问题,找到您的答案社区实验与课程快速搭建LNMP环境基于ECS搭建云上博客部署并使用Docker技术交流内容分类:博文问答电子书AIGC助力3D内容生成,网易瑶台沉浸式体验虚拟世界“穿越”到虚拟世界笑风生,网易瑶台沉浸式活动平台创新云端活动体验2022-07-14玩转AIGC,基于AIACC加速快速实现AIGC绘画本文介绍...
来自: 云产品
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
文档版本:20211028 33 云速搭部署 ALB实现负载分发 验证通过 ALB转发到ACK集群实现负载分发 步骤4 ACK配置 配置项 配置明细 集群名称 ack-product 集群规格 Pro版 Kubernets版本 1.18.8-aliyun.1 容器运行时 Docker 19.03.5 Worker部署可用区 cn-hangzhou-i 网络插件 Flannel Pod网络 CIDR 192.168.0.0/17 Service CIDR ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
这个 项目主体基于 DockerCompose部署,包含了完整的源代码以及构建好的容器镜像,是非常不错的 SpringCloud容器化示例。其源代码可以到如下地址获取:https://github.com/sqshq/PiggyMetrics 其应用可以到如下地址访问:https://piggymetrics.tk/ PiggyMetrics其实是一个个人财务管理解决方案,其拥有非常简单漂亮的管理...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
智能应对流量变化,容器化集群的弹性攻略
本方案使用应用型负载均衡和容器服务Kubernetes版智能分配网络流量,提高应用的高可用性和吞吐量,使用Kubernetes的cluster-autoscaler社区开源组件以及Kubernetes的Horizontal Pod Autoscaler内置组件进行弹性伸缩,提升资源利用率,缩减资源成本。
导致费用有所变化,请以控制台显示的实际报价以及最终账单为准)容器服务Kubernetes版 负载均衡 日志服务 专有网络VPC ACK支持节点伸缩弹性和Pod伸缩弹性 在 Kubernetes(K8s)环境中,Pod是最小的部署单位,它代表着集群中可以被创建和管理的最小的可部署计算实例,一个Pod由一个或多个容器(例如 Docker 容器)组成,这些...
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用