SLS数据入湖Kafka最佳实践
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云,在面对多云/混合云这样大的趋势下,数据无法进行统一的聚合、分析处理和导出等,本方案给出了在多云/混合云场景下,构建通过标准的Kafka协议和托管服务,SLS可以连接Kafka数据入湖导入,然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
应用场景 客户在阿里云不同region、阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)、或者IDC等业务数据或应用系统产品的日志数据等,汇总处理后,通过标准的通用的协议Kafka,数据入湖到阿里云SLS日志中心,进行 一分析和处理。主要步骤:1.通过CADT快速完成SLS数据入湖Kafka最佳实践需要的...
来自: 最佳实践 相关产品:云服务器ECS,日志服务(SLS),Serverless 应用引擎,消息队列 Kafka 版
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈,当应用出现业务异常问题时,您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析,精准定位业务异常。
将应用调用链与日志通过 traceId 进行关联 步骤1 在可观测链路 OpenTelemetry 版控制台,通过系统配置-日志关联中新增配置,设置 应用日志所上报的 Project 和 Logstore 地址。注意:页面顶部的地域要选择对应本章节 3.2-步骤一 中所配置的地域信息•应用:以 opentelemetry-demo-adservice 为例,应用名为 adservice。如果...
来自: 最佳实践 | 相关产品:日志服务(SLS),云速搭
MSE云原生网关解析body内容进行路由转发
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容,并用以路由转发规则判断
SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力。云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云 架构管理的产品,显著地降低应用...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎,云速搭
基于MSE云原生网关实现全链路灰度
基于MSE云原生网关实现全链路灰度
在微服务场景中,应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时,可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力,您无需修改业务代码,就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则,可以将满足规则的请求流量路由到目标版本的应用。
云服务器进行流量分发的负载均 衡服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提 升应用系统的可用性。 ACK:容器服务Kubernetes版,简称ACK。提供高性能且可伸缩的容器应用管 理能力,支持企业级容器化应用的全生命周期管理。在2021年,ACK 成为国 内唯一连续三年入选Gartner 公共云容器报告...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
除此之外,SAE控制台监控可以对比不同的版本,下图展示了选择分别展示“001”,“002”两个版本的对比。特别注意,监控有一定延迟,需要等待最多 2分钟左右才能收集到 文档版本:20240430 18 基于SAE 2.0的一站式 Web服务托管方案 场景验证 应用的实时日志可以通过控制台日志管理查看。需要更加强大的监控可以开启应用监控...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
登 录 CDT (https://cdt.console.aliyun.com/cdt/cn-beijing/list)界面中包含VPCPeering-按流量计费,执行完步骤2后请跳过步骤3,执行步骤4。界面中包含VPC对等连接,请跳过步骤2,执行步骤3。文档版本:20240502 24基于函数计算FC实现物联网音视频处理最佳实践 场景验证 步骤2(CDT配置界面为VPCPeering-按流量...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现大语言模型部署
基于函数计算FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
其核心目标是打造一个面向未来的、开放的“模型即服务”(MaaS)生态系统,为全球泛人工智能(AI)开发者提供一站 式、灵活、易用且成本效益高的模型服务解决方案。模型服务灵积(DashScope):灵积模型服务建立在“模型即服务”(Model-as-a-Service,MaaS)的理念基础之上,围绕 AI各领域模型,通过标准化的 API提 供包括...
来自: 最佳实践 | 相关产品:函数计算
通过ES兼容接口方式使用Kibana访问SLS数据
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后,对SLS查询分析语法不太熟悉的客户,可以继续沿用原有的查询分析习惯,在不改变使用方式习惯的情况下,通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
步骤10若第一次使用ARMSPrometheus监控服务,根据提示进行授权开通 文档版本:20240418 10通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 部署基础环境 步骤11再次进行应用部署,当出现校验成功时,可以查看一下界面中相关的信息,确认一下 是否是和自己的设计相符,如果相符单击下一步:价格清单。步骤12进入核算价格...
来自: 最佳实践 | 相关产品:云服务器ECS,容器服务 ACK,日志服务(SLS)
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
方案优势 简化模型部署流程 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 内置CICD平台能力,灰度,回滚,监控开箱即用 按量付费模式,没有资源闲置费用 产品介绍 函数计算 FC(Function Compute):函数计算是事件驱动的全托管计算服务。使 用函数计算,您无需采购与管理服务器等基础设施,只需编写并上传代码或镜 ...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 target_kafka_topic:业务系统Kafka云上备份实例的Topictopic-sync-b 业务系统Kafka云上备份实例的连接地址可以打开CADT控制台,双击业务系统Kafka 云上备份实例图标,在下方资源清单中找到。文档版本:20240330 49基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 4.6.配置sync-metadata-func-ram-b...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
实际场景举例:场景一:直播内容审核,当主播发起直播后,业务系统调用函数计算服务的 API,把直播 的地址传递给函数计算,函数计算启动并开始做视频流的录制或者截帧(Demo 是做的录 ,截帧需要稍加改动),并把视频或者图片上传到 OSS,并发出通知到 MNS 消息队列。下游业务系统可以扩展配置 OSS 触发函数计算做视频...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
函数计算为您准备好计算资源,弹性地、可靠地运行任务,并提供日志查询、性 能监控和报警等功能。对象存储 OSS:对象存储 OSS,是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩 展,多种存储类型供选择全面优化存储成本。容器镜像服务 ACR(Alibaba ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
监控
云监控(CloudMonitor)是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控,提供丰富的指标数据和强大开放的平台能力,第一时间发现和定位问题构建完善的监控运维体系。
这有助于您在服务上线初期快速构建面向基础设施的监控报警能力,既可以避免在人力资源紧张的情况下消耗时间成本专门自建和维护监控系统,又可以确保基础设施出现异常时被迅速知晓.开箱即用的监控视图.各云产品核心指标的监控图表且无需任何配置.丰富的报警通知方式.除了语音、短信、邮件、钉钉群外还可以推送到指定的...
来自: 云产品
基于ALB的统一流量调度和监控
基于ALB的统一流量调度和<em>监控</em>
企业在走向容器化过渡阶段,内部同时存在ECS应用和容器应用的情况,在多域名业务场景下,为了对应用的入方向流量进行统一的调度和监控,可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性,高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
文档版本:20210915 49 PTS压测 基于 ALB统一流量调度和监控 5.PTS压测 本章节主要通过 PTS对 orders.api 和 users.api 应用进行流量推送,为后续 SLS 提供分析数据。步骤1 登录 PTS控制台(https://pts.console.aliyun.com/),若提示开通服务,单击确认。步骤2 重新进入 PTS控制台,若是新用户,系统提示如下优惠,请...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,容器服务 ACK,云效
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
丰富的预置集成组件,覆盖阿里云、开源主流监控系统.支持短信、电话、钉钉、邮件、飞信等多种通知方式,同时也支持对接aone/jira/pagerduty等多种协同系统.支持多种告警策略,如通知策略、升级策略、静默策略、抑制策略等,其中通知策略支持通过定义事件匹配规则,对告警事件进行精准识别,满足一类告警通知策略的统一配置....
来自: 云产品
机场视频监控
机场视频<em>监控</em>
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
跨区域复制设置 当前跨区域同步可以支持异名存储空间的同步,如果您拥有两个分属不同区域的存储空间,您可以使用 制台配置同步将源存储空间的数据同步到目标存储空间。53 企业上云实践 机场视频监控最佳实践 目前只有中国大陆各区域之间,美东、美西两个区域之间支持跨区域复制功能,其他地域暂不支持。1.新建深圳区域的...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
查看sc-A应用监控大盘 步骤1 在应用sc-A控制台跳转到ARMS监控大盘。步骤2 使用新版本ARMS控制台,参考下图的提示,选择sc-A应用。步骤3 查看sc-A应用监控大盘,选择最近30分钟,可以看到30分钟内CPU使用率峰值接 近100%,这个证明了PTS压测时将CPU打满。文档版本:20240415 38基于MSE和SAE的微服务部署与压测 场景验证 4.2....
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
SAE能够让您免运维IaaS和K8s,秒级完成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如Web、微服务、Job任务)到SAE,并自动伸 缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。 容器服务 Kubernetes 版 ACK(ContainerServiceforKubernetes):全球首批通过 Kubernetes一致性认证的容器服务...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
< 1 2 3 4 ... 15 >
共有15页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用