SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他 云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)、或者IDC 等业务数据或应 用系统产品的日志数据等,汇总处理后,通过 标准的通用的协议Kafka,数据入湖到阿里云 SLS日志中心,进行统一分析和处理。解决问题 将多云、IDC分散的数据,通过标准协议,汇 产品...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
上多端建站专题
阿里云为企业打造一站式云端建站与应用部署解决方案,助力企业快速完成部署,实现应用的分钟级上线与全球加速访问。
赵秀玉,习木,胡亚昆.阿里云为企业打造一站式云端建站与应用部署解决方案,助力企业快速完成部署,实现应用的分钟级上线与全球加速访问....使用场景:面向建站群体、提供高性价比的域名注册、云服务器、网站搭建的一站式解决方案.云服务器 ECS 服务条款.云服务器ECS退订说明.企航产品组合卡片[复制]-copy[复制].
来自: 解决方案
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
文档版本:20240426 4 基于函数计算 FC镜像部署 SD大模型 最佳实践概述 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。购买按量付费资源,阿里云账户...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
 vCPU规格:选择1vCPU  内存规格:选择2048MB  实例并发度:1 环境变量:文档版本:20240502 51基于函数计算FC实现物联网音视频处理最佳实践 场景验证  ak: 帐 号 的 AccessKey,如 无 AK,可 以 访 问 https://ram.console.aliyun.com/manage/ak生成  sk:阿里云帐号的AccessKeySecret  bucket:...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
文档版本:20240429 4 基于函数计算 FC实现大语言模型部署最佳实践 最佳实践概述 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。购买按量付费资源,...
来自: 最佳实践 | 相关产品:函数计算
基于MSE原生网关实现全链路灰度
基于MSE<em>云</em>原生网关实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,可以在自己创建的专有网络内创建和管理云产 品实例,比如ECS、负载均衡、RDS等。在创建前,您需要结合具体业务,规 划VPC和交换机的数量及网段等。 MSE:MicroserviceEngine,简称MSE。微服务引擎MSE 面向业界主流开源 微服务项目,提供注册配置中心和...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
文档版本:20240430 5 基于SAE 2.0的一站式 Web服务托管方案 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。购买按量付费资源,阿里云账户...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
小型互联网迁移阿里云
小型互联网迁移<em>阿里云</em>
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业,从他云迁移到 阿里云,方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容;同时在实 践环节,增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到<em>阿里云</em>EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
文档版本:20210721 2 自建Hive数据仓库跨版本迁移到阿里云 EMR 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页 面(https://account.console.aliyun.com/v2/#/authc/home)查看是否已经完成实名 认证。阿里云账户余额大于 100...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到<em>阿里云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
一般选择默认的可用区即可,亦可选择与已购 里云产品部署在同一个可用区。ECS实例 由 Master和 Worker两种类型的节点组成:Master节点:主要负责集群资源管理和作业调度。默 认节点个数为 1。Worker节点:集群的计算节点,主要负责作业的执 行。最小节点数量 3。本实践方案中,Master实例和 Core实例的选型上,实例 规格...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
代表自建K8S集群已经注册成功,点击左上角的回退按钮 这里可以看到阿里云ACK托管集群ack_cluster和注册集群ACK-注册集群两个集群 状态都是运行中,文档版本:20240322 32容器多云统一监控日志 场景验证 4.在非阿里云Kubernetes集群中安装Prometheus组 件、日志logtail-ds组件 4.1.为onectl配置独立的RAM用户 步骤1 登陆...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
文档版本:20240304 5基于OSSObjectFC实现非结构化文件实时处理最佳实践 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作: 注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。 购买按量付费...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于MSE原生网关同城多活
基于MSE<em>云</em>原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
文档版本:20240423 VII 基于MSE云原生网关同城多活最佳实践 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页 面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。购买按量付费资源,阿里云账户...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
 微服务引擎MSE-注册配置中心 4、高度集成:与阿里云产品体系无缝对接。例如容器服务、 微服务引擎MSE-云原生网关 日志服务、应用监控、Web应用防火墙等,为您提供一站  微服务引擎MSE-微服务治理 式的微服务解决方案。 容器服务ACK  容器镜像ACR  消息队列RocketMQ版 最佳实践频道  弹性公网IP ...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本:20240204(发布日期)基于云速搭 CADT部署药物筛选批量...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
如有疑问,可咨询 里云解决方案架构师或阿里云授权合作伙伴。本最佳实践中,生产中心数据库以阿里云 RDS MySQL为例,异地灾备实例要部署在 专有网络 VPC内,创建完毕后,需要搭建 DTS数据同步链路并启动任务。3.1.1.在 RDS灾备实例创建 DTS同步帐号 说明信息 RDS灾备实例购买创建成功后,需要到其管理控制台帐号管理页面...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
混合存储构建VMware虚拟化平台
混合<em>云</em>存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
阿里云混合云存储阵列作为软硬一体的存储设备,集成了阿里云存储服务,融合了公 共云存储和传统存储阵列的优点: 简单:客户无需更改原有的IT架构,就可以像使用本地存储设备一样使用阿里 混合云存储阵列,同时使用本地存储空间和云端存储空间,无需关注本地设备 存储协议同云存储协议之间的兼容性。文档版本:20191223...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
新零售商超基于Serverless服务化改造
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
快速验证函数返回值.40 文档版本:20210519 1 新零售商超基于 Serverless服务化改造 前置条件 前置条件 执行本文操作之前,请完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页 面(https://account.console.aliyun.com/v2/#/authc/home)查看是否完成实名认证。阿里云账户余额...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
文档版本:20210323 1 基于 MyBase构建自主可控数据库和高弹性实践 前置条件 前置条件 为了顺利完成本实践,您需要提前完成以下准备工作:注册阿里云账号,并完成实名认证。您可以登录阿里云控制台,并前往实名认证页 面(https://account.console.aliyun.com/v2/#/authc/home)查看是否已经完成实名 认证。阿里云账户余额...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
文档版本:20200331 63数据湖-在线学习场景数据分析 附录-TCP DS oss在emr的引用路径格式,oss:/Bucket域名/路径 注意:创建EMR时,默认使用的权限角色为AliyunEMRECSRolePolicy,包含了对 OSS的权限,实际生产环境中创建EMR时请根据需要使用自定义角色。步骤2 生成测试数据和查询SQL,执行命令:hive dropdatabasetpcds_...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用