SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SAE让您免运维IaaS和K8s,秒级完成从源代码/代码包/Docker镜像部署任何语言的在线应用(如Web/微服务/Job任务)到SAE,并自动伸 缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。文档版本:20240428 3SLS数据入湖Kafka最佳实践 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作: 注册阿里云...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力。云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云 架构管理的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
自建K8S迁移镜像、应用至阿里云ACK最佳实践
自建K8S迁移<em>镜像</em>、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
触发复制迁移 稍等几分钟后,可以看到迁移进度完成 登录 ACR,查看镜像:20 文档版本:20200525 自建 K8S迁移镜像、应用至阿里云 ACK 21 文档版本:20200525 自建 K8S迁移镜像、应用至阿里云 ACK 自建 Harbor迁移至 ACR企业版 本章介绍如何使用 image_syncer将自建的 Harbor镜像平滑快速的迁移至阿里云容器 服务 ACR ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
SAE 让您免运维IaaS和K8s,秒级完成从源 代码/代码包/Docker 镜像部署任何语言的在线应用(如Web/微服务/Job任 务)到SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡 等配套能力。 ARMS应用监控:是一款应用性能管理(,简称APM)产品。您无需修改代码,只需为应用安装一个探针,ARMS就能够 对应用进行...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
文档版本:20210520 15 混合云 IDC自有 K8S弹性使用 ECI 部署 K8S集群 1.Kubernetes几乎所有的安装组件和 Docker镜像都放在 goolge自己的网站上,直 接访问可能会有网络问题,这里的解决办法是从阿里云镜像仓库下载镜像,拉取到 本地以后改回默认的镜像 tag。下载脚本内容如下:#!bin/bash url=registry....
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
Spark on ECI大数据分析
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容,兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构,结合阿里云原生云 存储产品,海量数据湖优势。 3.Kubernetes原生的调度性能优势,提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足,计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离,大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
弹性容器实例 ECI:阿里云弹性容器实例(ECI)是免运维的 IaaS层容器组资源交付,提供安全的 Serverless容器运行服务,用户无需管理底层服务器,只需要提供打 包好的 Docker镜像即可运行容器并只为容器实际运行消耗的资源付费。ECI可以 与阿里云容器服务产品(ACK/ASK)无缝兼容,并且跟 Kubernetes的 Pod概念完 全兼容。文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,容器服务 ACK,弹性容器实例 ECI,文件存储HDFS
阿里云最佳实践容器workshop
阿里云最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
文档版本:20220301(发布日期)14 阿里云ACK容器服务workshop Docker实践 2.Docker实践 本章节使用阿里云 ECS搭建 Docker环境,编写一个简单的 Dockerfile后构建 Docker 镜像,并上传到阿里云的镜像仓库。其中 ECS资源和弹性公网 EIP等基础资源借助 阿里云架构设计工具(CADT)一键生成。2.1.创建容器需要的默认角色 容器...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
基因计算工作流
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现,支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算,按照规定好的步骤依次完成 计算,这符合工作流的特点:多层次,有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
Kubernets版本 1.14.8-aliyun.1 容器运行时 docker 节点类型 按量付费 Master实例数量 3 实例规格 可用区 H 4核 8G(ecs.c6.xlarge)系统盘 ESSD云盘 120GiB Worker实例 新增实例 实例规格 4核 8G(ecs.c5.xlarge)4核 16G(ecs.g5.xlarge)4核 8G(ecs.c6.xlarge)基因计算一般采用 c6/g6/c5/g5等类型 数量 3 台 系统盘 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,文件存储NAS,容器服务 ACK
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
putty(windows电脑上)连接开发环境 1.[jinghai@ali-6c96cfdfeb75~]$ssh root@${EIP} 2.[root@ecs-test~]#3.4.#安装docker并启动服务 5.6.#yum install-y yum-utils device-mapper-persistent-data lvm2 7.#yum-config-manager-add-repo https://download.docker.com/linux/centos/docker- ce.repo 8. # yum -y install...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
配置镜像加速 默认安装的 Docker使用官方提供的中央镜像仓库,由于网络等原因,访问稳定性和 的下载速度常常都不令人满意。我们通过使用阿里云提供的加速镜像源来解决这个 问题。操作步骤 登录容器镜像服务控制台。(https://cr.console.aliyun.com/)在镜像中心>镜像加速器下获取镜像加速器地址及操作配置方法。按步骤...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
容器Swarm集群向ACK集群灰度迁移
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善,越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本:20190401 19 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建自定义镜像 输入 docker pull alexcheng/magento2 开始下载 Magento docker镜像。步骤4 将原始镜像上传镜像仓库。上传镜像仓库的方法,可以参见控制台提示:进入容器镜像服务,管理镜像仓库。注意事项:文档版本:20190401 20 容器 Swarm集群向 ACK...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,容器服务 ACK
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
文档版本:20220321 18 E-HPC低成本实现量化策略回测 操作步骤 步骤3 进入 ECS 控 制 台镜像 页 面,确 认 创 建 完 成。(https://ecs.console.aliyun.com/image/region/cn-zhangjiakou/imageList)说明:创建镜像耗时受镜像大小影响,本例的自定义镜像耗时约 10分钟左右,请耐心 等待。文档版本:20220321 19 E-HPC...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
创建镜像描述文件 本节创建 dockerfile镜像描述文件构建应用的 docker镜像,主要将上面定义的配置放 到环境变量中,请参考源码中的 dockerfile-provider和 dockerfile-consumer的定义。文档版本:20220208 16 Dubbo应用上云 Dubbo应用改造 上图以 dockerfile-provider为例,定义了需要使用的 4 个环境变量。在 dockerfile-...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
这里我们简化 cpfs的配置,不采用 pv/pvc的方式进行部署,直接挂载到 master节点和 worker节点上,容器在使用的 时候,直接使用本地目录一样使用 cpfs目录上的文件。步骤1 注意:根据实际情况更换下面脚本中的挂载点信息。[root@master001~]#vim install-cpfs.sh#!bin/bash set-e CPFSMountPoint=cpfs-03a2f2ee-mgl5....
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
镜像种类丰富公共镜像镜像市场、自定义镜像、社区镜像满足各类型用户对于应用环境的快速部署、灵活管理的需求。查看更多登录 ECS 控制台,体验更多功能产品选型入门与试用快速上手01实名认证02领取免费资源03部署/搭建环境04开启体验免费试用部署Docker教程Docker是一款开源的应用容器引擎,具有可移植性、可扩展性、安全...
来自: 云产品
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
这个项目主体 DockerCompose 部署,包含了完整的源代码以及构建好的容器镜像,是非常不错的 Spring Cloud示例。其源代码可以到如下地址获取:https://github.com/sqshq/PiggyMetrics 其应用可以到如下地址访问:https://piggymetrics.tk/ PiggyMetrics的登录界面如下图所示:PiggyMetrics是一个个人财务管理软件,登录后...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
SpringCloud应用托管到ACK服务
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中,创建容器服务ACK后, 利用Helm一键部署SpringCloud应用,将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
这个项目主体 DockerCompose 部署,包含了完整的源代码以及构建好的容器镜像,是非常不错的 SpringCloud容器化示例。其源代码可以到如下地址获取:https://github.com/sqshq/PiggyMetrics 其应用可以到如下地址访问:https://piggymetrics.tk/ PiggyMetrics其实是一个个人财务管理解决方案,其拥有非常简单漂亮的管理页面,...
来自: 最佳实践 | 相关产品:容器服务 ACK
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
选择镜像,切换到 Docker官方镜像,搜索选中 httpd,镜像 tag选择“2.4.50”。文档版本:20211028 39 云速搭部署 ALB实现负载分发 验证通过 ALB转发到ACK集群实现负载分发 6.创建服务(Service)文档版本:20211028 40 云速搭部署 ALB实现负载分发 验证通过 ALB转发到ACK集群实现负载分发 文档版本:20211028 41 云速搭部署...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
删除 Role一行 2.增加 vpcConfig配置 文档版本:20210806(发布日期)26 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 3.增加 fun02配置#vim template.yml ROSTemplateFormatVersion:'2015-09-01' Transform:'Aliyun:Serverless-2018-04-03' Resources:dataCollector:Type:'Aliyun:Serverless:Service' ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
ACK容器平台集群安全控制
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
用于存储私有 docker registry的认证信息,一 般如果用户发现拉取私有镜像仓库的镜像权限失败导致 Pod无法正常启动时建议 首选排查此 Secret kuberntes.io/service-account-token:用 于 被 ServiceAccount 引用,ServiceAccount在 Kubernetes中被创建时会默认创建对应的 secret,Pod如果使 用了该 ServiceAccount,对应的 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,负载均衡 SLB,容器服务 ACK,访问控制,云速搭
< 1 2 >
共有2页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用