SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合,在面对多云/混合这样大的趋势下,数据无法进行统一的 聚合、分析处理和导出等,本方案给出了在多 /混合场景下,构建通过标准的Kafka协议 和托管服务,SLS可以连接Kafka数据入湖导 入,然后进行统一的海量数据的集中存储、智 能转储、...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
产品介绍●专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理 产品实例,比如 ECS、负载均衡、RDS等。容器服务 Kubernetes 版 ACK:容器服务 Kubernetes 版(简称 ACK)提供高性 文档版本:20240428 V 可观测链路...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
 专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 管理产品实例,比如ECS、负载均衡、RDS等。 云速搭CADT(CloudArchitectDesignTools):是一款上云应用提供自助式 架构管理的产品,显著地降低应用上管理...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
步骤1 先清理OSS中的文件,通过CADT画布跳转到OSSbucket,全选文件夹后,选择彻底 删除 步骤2 play-video-func 函 数 是 人 工 创 建, 访 问 https://fcnext.console.aliyun.com/cn-shanghai/services找到FC-SERVICE-APP服务,手 工删除play-video-func函数。步骤3 删除工作流调度,然后再删除工作流 文档版本:...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
Oracle RAC 12C上部署
Oracle RAC 12C<em>云</em>上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
20240206 74OracleRAC12C上部署 文档版本:20240206 75OracleRAC12C上部署 文档版本:20240206 76OracleRAC12C上部署 文档版本:20240206 77OracleRAC12C上部署 文档版本:20240206 78OracleRAC12C上部署 文档版本:20240206 79OracleRAC12C上部署 文档版本:20240206 80OracleRAC12C上部署 文档版本:...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
将本地镜像推送到阿里 ACR 本节将以 ECS中镜像 Stable Diffusion例,讲解如何将本地镜像部署到阿里函数 计算 FC上,请事先准备好自己想部署的镜像,若暂时没有想部署的本地镜像,也可以跳过此章节,通过直接部署阿里 ACR中公开的 Stable Diffusion镜像仓库,体验函数计算 FC的镜像部署流程。步骤1 以上 ECS...
来自: 最佳实践 | 相关产品:函数计算
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实 例,比如 ECS、负载均衡、RDS等。Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简易用、自适应弹性的应用全托管...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里函数计算实现对直播流的实时录制,录制结束后会把录制的结果写入 OSS 存储桶,并把录制的结果写到消息队列,下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会直播相关的业 务,大部分场合都需要对直播相关的业务...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合成为常态,Forrester报告中指出,未来89%的企业至少使用两个,74%的企业 至少使用三个甚至更多公有,在面对多云/混 合这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给出了在多云/混合场景下,构建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
不同的业务使用不同类型的Kafka实例,在这个前提 下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里Kafka,但是Kafka实例会主备之分, 将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里Kafka,备Kafka是IDC开源自建 Kafka,或者是其他...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
直播流,可能还有白板,评论等其他元素,如果 只是录直播流,那内容是不完整的,所以需要将整个 解决 Web端全屏录制 SaaS类服务高成本的问 屏幕的内容录制视频。该最佳实践可以有效解决这 题。个场景。最佳实践频道 http://bp.aliyun.com 函数计算 FC用户交流群 钉钉搜索钉群号 11721331入群 阿里最佳实践分享群 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着原生及微服务技术的普及,越来越多的系 统已经通过原生和微服务技术实现企业的降 本增效,同时因微服务及原生的复杂性给系统 运维带来非常大的挑战,原生应用监控arms 通过全链路应用监控,从端到端及代码级别的链 路下钻能力、CPU...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
阿里函数计算(FC)一张图片往往会很多张衍生图,那如果所有的  阿里对象存储(OSS)衍生图都存在OSS中,那存储的成本会增加, 内容分发网络(ContentDeliveryNetwork,CDN) 云速搭CADT 所以就可以通过OSSObjectFC的方案,在不 同的终端请求时,对OSS中的原图基于终端的 要求做实时处理,然后响应返回,这样OSS...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
基于MSE和SAE的微服务部署与压测最佳实践 业务架构 场景描述 通过原生微服务引擎MSE、SAE、PTS、ARMS 产品,SpringCloud微服务应用提供部署和测试 能力,提供一个经典微服务应用上云的典型架构,实 现微服务应用的快速落地。应用场景 微服务应用运行需要的支撑包括注册中心、运行时、应用监控、服务测试等典型能力。...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比如ECS、负载均衡、RDS等。 负载均衡SLB(ServerLoadBalancer):一种对流量进行按分发的服务,通过将流量分发 到不同的后端服务来...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和 文档版本:20240402 5 MSE网关使用 JWT实现认证鉴权 最佳实践概述 管理产品实例,比如 ECS、负载均衡、RDS等。传统型负载均衡 CLB(Classic Load ...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
应用场景 有需要通过PoC得到Kafka产品性能实测数据 时可以用本实践来快速完成环境搭建及性能测 试。解决问题 Kafka压测环境的快速构建 产品列表 Kafka官方压测客户端完成性能压测  专有网络VPC  虚拟机ECS  弹性公网IP  消息队列Kafka版  消息队列KafkaSeverless版  云速搭CADT 最佳实践频道 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
产品解决方案文档与社区权益中心定价市场合作伙伴支持与服务了解阿里AI 助理备案控制台服务器 ECS产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区服务器 ECS服务器是一种安全可靠、弹性可伸缩的云计算服务,助您降低 IT 成本,提升运维效率。立即购买免费试用快捷...
来自: 云产品
基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
大数据分析与营销科技服务提供商神策数据与阿里计算巢展开合作,通过阿里计算巢平台实现神策分析上数字营销和分析系统的自动化部署,围绕“降低企业运营成本”“提升应用交付效率”两大核心目标,共探云端私有化部署新形态.网络安全升级支持IPV6.天弘基金成立于2004年11月8日,是经中国证监会批准设立的全国性公募...
来自: 云产品
上成本优化workshop
<em>云</em>上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
文档版本:20210329 21 上成本优化 workshop 计费优化 在使用抢占式实例时,重点注意以下两点 保护期:抢占式实例默认 1小时的保护期(支持在调用 OpenAPI创建抢占式实 例时设置无保护期)。如果抢占式实例保护期,在保护期内即使市场价格浮动 超过了出价,抢占式实例也不会被释放,您可以在该抢占式实例上正常...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
< 1 2 3 4 ... 9 >
共有9页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用