SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给了在多 云/混合云场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
由于access_log指向了/dev/stdout标准输出,在这种情况下应该使用以下命令来查 看WordPress容器的访问日志:退出容器 文档版本:20240418 28基于MSE云原生网关同城多活最佳实践 释放环境 kubectllogswordpress-5b7c65b499-vsjhc-cwordpress-namespace=default 步骤4 根据步骤3可知,Wordpress日志是容器标准输出的方式,...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
阿里云最佳实践容器workshop
阿里云最佳实践<em>容器</em>workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
CPU=0.25表示使用 1/4个 core 步骤2 默认会以镜像版本生成环境变量 PKG_RELEASE,容器创建成功之后,可以登录到 内部查看环境变量是否生效。步骤3 将日志目录/var/log/nginx挂载到临时目录(emptyDir卷),方便本机日志查看。步骤4 日志配置,通过 SLS日志服务来查看日志,并可以通过 sls来做统计、聚合等操作。日志库...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
3.2.docker镜像及制作 Docker容器镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于 运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量以及配置文件等。Docker的镜像实际上由一层一层的文件系统组成,实现上主要依赖 UnionFs(联合文 件系统):union文件系统...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
ACK集群神龙资源错峰利用
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境,神龙资源为 集群节点资源部署应用。在主业务低谷 期,通过将部分神龙节点从容器集群中移 除,更换镜像切换操作系统及应用环境, 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的,以便充分利用神龙资源,降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境,典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
ACK集群神龙资源错峰利用 最佳实践 架构示意图 场景描述 使用 ACK构建容器集群环境,神龙资源 为集群节点资源部署应用。在主业务低谷 期,通过将部分神龙节点从容器集群中移 除,更换镜像切换操作系统及应用环境,使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入 ACK集群。从而达到错峰利用...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,弹性裸金属服务器(神龙),云数据库 Redis 版,云速搭CADT
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
名词解释 容器服务 Kubernetes版(ACK):简化集群的搭建和扩等运维工作,整合阿里云 虚拟化、存储、网络和安全能力,打造云端最佳的 Kubernetes容器化应用运行环 境,为您提供专业的容器支持和服务。详情请参见:https://www.aliyun.com/product/kubernetes 容器镜像服务(ACR):安全的应用镜像托管能力、精确的镜像安全...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
(rapids)root@2d31b063df60:/rapids/notebooks#exit root@rapids:~#步骤7 退出容器后,如果要停止容器进程,使用 docker stop 命名+进程 ID停止容器进程。root@rapids:~#docker stop 2d31b063df60 5.1.2.部署 RAPIDS示例 步骤1 登录容器环境,并现在数据集和 demo文件。进入容器环境:root@rapids:~#docker exec-it 2d31b...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
(rapids)root@265b3f3e4b94:/rapids/notebooks#exit root@rapids:~#步骤7 退出容器后,如果要停止容器进程,使用 docker stop 命名+进程 ID停止容器进程。root@rapids:~#docker stop 265b3f3e4b94 5.2.部署 RAPIDS运行环境 步骤1 登录容器环境,并现在数据集和 demo文件。进入容器环境:root@rapids:~#docker exec-it 265b3...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
以 root用户 SSH登录 ECS实例后执行以下命令,加速地址请以实际地址为准。tee/etc/docker/daemon.json/root/docker_ldap.sh#!bin/bash-e docker run-name ldap.test.com --hostname ldap.test.com --env LDAP_ORGANISATION="test company" --env LDAP_DOMAIN="test.com" -- env LDAP_ADMIN_PASSWORD="H3110!detach ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
异地双活场景下的数据双向同步
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
并且可以通过 dig 查看解析情况,流量可以分发到不同的集群。文档版本:20220209 52 异地双活场景下的数据双向同步 服务部署 文档版本:20220209 53 异地双活场景下数据库双向同步 数据双向同步 3.数据双向同步 3.1.配置正向链路 步骤1 进入 DTS控制台,配置同步链路。步骤2 选择源实例信息和模板实例信息,授权白名单...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
发布日期:20220320 I 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 方案架构 用户通过域名访问推理服务,如 demo中通过 notebook提供网页式的运行环境,推理服务器部署在 中模型和文件都存放在共享存储 NAS上。发布日期:20220320 II 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 最佳实践...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
注意:以下命令仅为示例,请联系讲师获取完整的下载地址,并替换命令中的相关内 。cd/mnt wget-c https://oss-cn-zhangjiakou-internal.aliyuncs.com/imagenet*/imagenet.tgz tar xvf imagenet.tgz 下载训练脚本[root@master001~]#git clone https://code.aliyun.com/best-practice/099.git [root@master001~]#cd 099...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
容器多云统一监控日志
<em>容器</em>多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
最佳实践 业务架构 场景描述 多云、混合云成为常态,Forrester报告中指出,未来89%的企业至少使用两个云,74%的企业 至少使用三个甚至更多公有云,在面对多云/混 合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给了在多云/混合云场景下,构建 基于容器环境下的统一...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
容器场景下的应用性能监控、调用链拓扑、内存剖析
<em>容器</em>场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
将下载的文件insights-helm.zip文件上传 步骤5 上传后可以看到文件 文档版本:20240329 22容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 步骤6 执行解压缩操作unzipinsights-helm.zip 步骤7 查看文件并执行helm安装命令 helm执行命令如下 helminstallinsights-demo-setcommon.namespace=arms-apm-demoinsights-...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于MSE云原生网关实现全链路灰度
基于MSE云原生网关实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
提供高性能且可伸缩的容器应用管 理能力,支持企业级容器化应用的全生命周期管理。在2021年,ACK 成为国 内唯一连续三年入选Gartner 公共云容器报告的产品,同时在2022年成为国 内唯一进入Forrester领导者象限的产品。ACK 整合了阿里云的虚拟化、存储、网络和安全能力,助力企业高效运行云端Kubernetes容器化应用。文档版本...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
进入到Consumer-ACK工程根目录下,既和Dockerfile文件同级目录下,执行以下 构建镜像。dockerbuild-tjava-sc-consumer-ack:v1.进入到Provider-SAE工程根目录下,既和Dockerfile文件同级目录下,执行以下命令 构建镜像。dockerbuild-tjava-sc-provider-sae:v1.进入到Provider-ACK工程根目录下,既和Dockerfile文件同级...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
容器服务 Kubernetes 版 ACK:容器服务 Kubernetes 版(简称 ACK)提供高性 能且可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。在 2021 年,ACK 成为国内唯一连续三年入选 Gartner 公共云容器报告的产品,同 时在 2022 年成为国内唯一进入 Forrester 领导者象限的产品。ACK 整合了阿里 云的虚拟化、...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
文档版本:20240204 24 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 使用以下命令加载容器镜像 cd/ehpc-media/docker/docker load-i ehpc-serverless-gpu-v1.2.tar 获取 ACR登录的临时用户密码。(出于安全合规考虑,建议以临时登录密码的方式登录 ACR并上 传镜像。临时登录密码是通过 RAM role ...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
步骤8 确认订单阶段会列架构中所有的产品及其价格,需要用户确认无误后勾选接受《云 速搭服务条款》,此时下一步:支付并创建才会高亮,可以单击进行实际的资源购买 和部署。此次方案涉及到云产品费用12.47元/时(不含流量型产品,数据参考20240229官网 数据)步骤9 等待分钟级后,查看应用状态为“部署成功”部署时长与...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
容器计算服务 ACS
容器计算服务 ACS 是以 K8s 为使用界面供给容器算力资源的云计算服务,提供符合容器规范的算力资源。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台 容器计算服务 ACS产品简介产品优势产品功能入门与试用产品定价安全合规常见问题容器计算服务 ACS以 K8s 为使用界面供给容器算力资源的云计算服务,提供符合容器规范的算力资源。申请试用公测试用快捷入口文档01:23新一代容器产品产品动态...
来自: 云产品
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用