SLS数据湖Kafka最佳实践
SLS数据<em>入</em>湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
Kafka-SLS 的数据湖.34 5.SAE容器集群日志流入kafka,数据湖到SLS.36 5.1.SAE中配置日志流入kafka.36 5.2.SLS中查看SAE的数据湖.40 6.一键释放资源.42 文档版本:20240428 IIISLS数据湖Kafka最佳实践 最佳实践概述 最佳实践概述 方案概述 应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
在使用过程中,随着业务的扩展,可以随时扩磁盘、增加带宽。也能随 时释放资源,节省费用。文档版本:20240426 4 基于函数计算 FC镜像部署 SD大模型 最佳实践概述 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面...
来自: 最佳实践 | 相关产品:函数计算
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
部署ES兼容所需组件 步骤1 双击CADT架构图中的es兼容ECS图标,点击远程登录 步骤2 输入如下命令在ECS上部署Docker并检查版本 sudoyuminstall-ydocker 文档版本:20240418 33基于MSE云原生网关同城多活最佳实践 释放环境 podman-version 注意:在AlibabaCloudLinux服务器上安装docker后,无法直接使用docker命令,后续都需要...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
进入到Consumer-ACK工程根目录下,既和Dockerfile文件同级目录下,执行以下 构建镜像。dockerbuild-tjava-sc-consumer-ack:v1.进入到Provider-SAE工程根目录下,既和Dockerfile文件同级目录下,执行以下命令 构建镜像。dockerbuild-tjava-sc-provider-sae:v1.进入到Provider-ACK工程根目录下,既和Dockerfile文件同级...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
文档版本:20240204 24 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 使用以下命令加载容器镜像 cd/ehpc-media/docker/docker load-i ehpc-serverless-gpu-v1.2.tar 获取 ACR登录的临时用户密码。(出于安全合规考虑,建议以临时登录密码的方式登录 ACR并上 传镜像。临时登录密码是通过 RAM role ...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能,同时通过引入更完善的发行版质量体系,确保产品品质,提供云上最佳用户体验。
35分钟查看教程基于 Alibaba Cloud Linux 3 操作系统部署 DockerDocker 是一款开源的应用容器引擎,具有可移植性、可扩展性、安全性和管理性等优势。开发者可将应用程序和依赖项打包到一个可移植的容器中,快速发布到 Linux 机器上并实现虚拟化,实现更高效地构建、部署和管理应用程序。在本教程中,您将学习如何在阿里云云...
来自: 云产品
容器跨可用区高可用
<em>容器</em>跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
步骤4 创建成功后,进入如下页面:文档版本:20220622 15 容器跨可用区高可用最佳实践 创建镜像服务仓库 步骤5 记录以上命令,后面备用。文档版本:20220622 16 容器跨可用区高可用最佳实践 记录 Redis连接地址 4.记录 Redis连接地址 步骤1 在云速搭的应用页面,双击 redis图标,在弹出的页面中,点击前往控制台。步骤2 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
阿里云最佳实践容器workshop
阿里云最佳实践<em>容器</em>workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
进入容器内部 步骤1 执行以下命令进入容器内部,红色部分为 Pod名称。kubectl get pods kubectl exec-it nginx-demo-77464b8c66-x2gh5-sh env 文档版本:20220301(发布日期)35 阿里云ACK容器服务workshop 阿里云 ACK实践 步骤2 可以查询到控制台创建的环境变量 PKG_RELEASE,输入 exit 退出容器。3.3.访问应用 3.3.1.内网...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
容器Swarm集群向ACK集群灰度迁移
<em>容器</em>Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善,越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
容器服务:容器服务(Container Service)提供了高性能可伸缩的容器应用管理服务,支 持在一组云服务器上通过 Docker 容器来进行应用生命周期管理。容器服务极大地简化了 用户对容器管理集群的搭建工作,无缝整合了阿里云虚拟化、存储、网络和安全能力,打 造 Docker 云端最优化的运行环境。容器服务提供了多种应用发布方式...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,容器服务 ACK
金融行业从经典网络向VPC容器化改造
金融行业从经典网络向VPC<em>容器</em>化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 最佳实践 业务架构 场景描述 本实践介绍经典网络向VPC容器化改造实践 以及配置步骤,可适用于金融等行业 方案优势  容器化完成经典网络完成向VPC网络改 造  应用发布灵活  运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表  专有网络VPC  ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,容器服务 ACK,日志服务(SLS),容器镜像服务 ACR
ACK容器平台集群安全控制
ACK<em>容器</em>平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
禁止容器的部分内核权限,例如通常情况下容器拥有 CAP_CHOWN权限,允许进程 修改文件系统中文件的所有者,同样可以通过 securityContext的 capabilities禁用 该内核权限。文档版本:20220207 36 ACK容器平台集群安全控制最佳实践 Kubernetes集群的Security Context 部署 Pod后测试容器不允许修改文件的所有者:3.3.Pod-...
来自: 最佳实践 | 相关产品:专有网络 VPC,负载均衡 SLB,容器服务 ACK,访问控制,云速搭
基于ECI、RI和EIP降成本方案
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上, 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景,特别是无状态服务、 易于容器化的场景,基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI, 可以灵活的抵扣相关资源费用;弹性容器实 例ECI,在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例,使用 ECI+RI+EIP的组合方式,通过RI抵扣计 算资源费用,按量支付流量费用,旨在能够 帮助客户快速验证云上服务,有效控制云上 资源成本。 方案优势 1.使用RI,可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境,更加 灵活、低成本,提高资源使用率。 3.ECI+RI+EIP的组合方式,资源使用率 高,通过RI抵扣计算资源费用,按量 支付流量费用,能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
3.2.docker镜像及制作 Docker容器镜像是一种轻量级、可执行的独立软件包,用来打包软件运行环境和基于 运行环境开发的软件,它包含运行某个软件所需的所有内容,包括代码、运行时、库、环境变量以及配置文件等。Docker的镜像实际上由一层一层的文件系统组成,实现上主要依赖 UnionFs(联合文 件系统):union文件系统...
来自: 最佳实践 | 相关产品:弹性公网IP,容器镜像服务 ACR,弹性容器实例 ECI,预留实例券
搭建高性能ACK集群
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式,导致容器之间的网 络性能,相比服务器之间直接通信方式,会有一 定程度的下降。阿里云托管版的K8S容器服务, 支持自研的Terway网络插件,该插件可以有效 减少因容器而引入的网络性能下降,可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践,指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
(操作步骤请参见进入容器组的 docker终端)文档版本:20220126 31 搭建高性能 ACK集群最佳实践 跨可用区性能测试对比 步骤3 在两个 pod之间互 ping(从一个 pod上 ping另一个 pod的 IP地址),记录平均用时。可用区 F->G 可用区 G->F 平均值:1.69 ms。步骤4 分别远程连接两个 pod的 host节点,进入命令行终端。(操作步骤...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,容器服务 ACK,云速搭
ACK集群神龙资源错峰利用
ACK集群神龙资源错峰利用
场景描述 使用ACK构建容器集群环境,神龙资源为 集群节点资源部署应用。在主业务低谷 期,通过将部分神龙节点从容器集群中移 除,更换镜像切换操作系统及应用环境, 使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 入ACK集群。从而达到错峰利用神龙资源 的目的,以便充分利用神龙资源,降低资 源成本。 解决问题 1.基于ACK及神龙资源构建容器集群环 境,典型部署应用。 2.ACK内挂载NAS存储。 3.ACK集群神龙实例节点移除和重新加入 集群。 产品列表 弹性裸金属服务器EBM 容器服务ACK 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云数据库RDS MySQL版 云数据库Redis版 文件存储NAS 访问控制RAM 日志服务SLS 云监控CloudMonitor 运维编排OOS
ACK集群神龙资源错峰利用 最佳实践 架构示意图 场景描述 使用 ACK构建容器集群环境,神龙资源 为集群节点资源部署应用。在主业务低谷 期,通过将部分神龙节点从容器集群中移 除,更换镜像切换操作系统及应用环境,使得这部分神龙实例资源服务于其他业 务。在主业务高峰期前将神龙资源重新加 ACK集群。从而达到错峰利用...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,弹性裸金属服务器(神龙),云数据库 Redis 版,云速搭CADT
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
按照所示输入”$oauthtoken”,并输入您在设置 NGC账户时 获取的 NGC API密钥:Username:$oauthtoken Password:完成后,您可以运行 Docker命令并从 VM实例访问 NGC容器注册表。21 文档版本信息:20191209 RAPIDS加速机器学习 单 机部署 RAPIDS环境 5.单机部署 RAPIDS环境 5.1.1.下载镜像并启动 步骤1 下载 rapids加速库镜像...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
按照所示输入”$oauthtoken”,并输入您在设置 NGC账户时 获取的 NGC API密钥:Username:$oauthtoken Password:完成后,您可以运行 Docker命令并从 VM实例访问 NGC容器注册表。23 RAPIDS加速图像搜索 单机部署图搜应用 5.单机部署图搜应用 5.1.下载镜像并启动 步骤1 下载 rapids加速库镜像,这里我们选择 rapidsai:0.8-cuda...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
var/jenkins_home \-v/var/run/docker.sock:/var/run/docker.sock \-v/usr/bin/docker:/usr/bin/docker \-name myjenkins-privileged=true-u root jenkins/jenkins:lts 由于后续需要在 jenkins容器里执行 docker build等相关命令,因此该容器需具备 docker in docker(dind)的能力,故将 docker.sock与 docker挂载进容器...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
文档版本:20220321 20 E-HPC低成本实现量化策略回测 操作步骤 步骤3 以 admin用户,登录 manager节点,执行如下的命令,提交任务(注意:执行如下 前,请参考章节 2.3.2 的步骤一,安装 git和下载代码)。作业管理 PBS提供简洁命令行,方便用户进行作业管理,常用作业管理命令如下:提交任务:qsub demo.pbs 查看所有...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
SpringCloud应用托管到ACK服务
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
服务 ACK在部署时,会自动安装 helm工具,因此这里不需要再安装了。1.#helm install piggymetrics piggymetrics 2.NAME:piggymetrics-1583419148 3.LAST DEPLOYED:Thu Mar 5 22:39:08 2020 4.NAMESPACE:piggymetrics 5.STATUS:deployed 6.REVISION:1 7.TEST SUITE:None 创建成功后,到控制台查看,无状态应用:17 企业...
来自: 最佳实践 | 相关产品:容器服务 ACK
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
Dubbo应用上云 最佳实践 部署架构 场景描述 本最佳实践...yum install-y yum-utils yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine yum install-y yum-utils device-mapper-persistent-data lvm2 yum-config-manager-add-repo ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用