基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
方案优势 快速搭建起数据处理全链路 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 内置 CICD平台能力,灰度,回滚,监控开箱即用 量付费,没有资源闲置费用 部署架构 架构说明 该架构直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、Kafka、函数计算 FC、OSS之间的关系。网络架构:◼ 整个方案会在...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于FC实现的Web端视频录制最佳实践
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景,在线教育领域会有直播视频录制的需求,但是往往一个页面上的内容是多种多样的,不止有直播流,可能还有白板,评论等其他元素,如果只是录直播流,那内容是不完整的,所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
最佳实践频道 http://bp.aliyun.com 函数计算 FC用户交流群 钉钉搜索钉群号 11721331入群 阿里云最佳实践分享群 钉钉搜索钉群号 31852400入群 文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the text that you want to appear here.基于 FC实现的 Web端视频 录制最佳实践 文档...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
进入角色菜单, AliyunFcDefaultRole。文档版本:20240330 35基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 场景验证 步骤2 点击AliyunFcDefaultRole进入详情页面,点击新增权限按钮。步骤3 授权范围选择整个云帐号,选择系统策略,依次搜索 AliyunOSSFullAccess AliyunFCFullAccess AliyunVPCFullAccess ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
部署架构 文档版本:20240329 1容器场景下的应用性能监控、调用链拓扑、内存剖析 前置条件 架构说明 该架构直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、容器服务ACK 之间的关系。 网络架构: 整个方案会在某个Region下,该示例使用的是杭州Region  在Region下会创建1个VPC  在该VPC下会创建2个...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
配置对等连接 步骤1 通过对等连接打通上海和北京两个VPC网络,方案中需要配置的对等连接路由清单,路由策略 源网段 目标网段 出口 备注 VPC-SH-TO-BJ 172.16.0.0/12 192.168.0.0/16 上海IDC出口设备路由表(下一跳)CADT架构中已经预先配置好 VPC-BJ-TO-SH 192.168.0.0/16 172.16.0.0/12 北京VPC出口设备路由表(下一跳)...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景,现在各种终端种类繁多,不同 专有网络VPC  的终端对图片的格式、分辨率要求也不同,所以  阿里云函数计算(FC)一张图片往往会有很多张衍生,那如果所有的  阿里云对象存储(OSS)衍生都存在OSS中,那存储的成本会增加, 内容分发网络(ContentDeliveryNetwork,CDN) 云速搭...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
文档版本:20240311 25SAE-ACK应用双跑 场景验证 打开Consumer-SAE工程中的ConsumerService类,将下中红框部分改为From ConsumeronSAE'request.将Provider工程文件夹复制一份,将两个Provider工程文件夹重命名,Provider-ACK,Provider-SAE。将代码导入常用的IDE(IDEA,VSCode等),打开Provider-ACK工程中的 Provider...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
部署过程大概需要 3分钟左右,完成部署后的应用架构如下所示:文档版本:20240402 5 MSE网关使用 JWT实现认证鉴权 部署基础环境 步骤7 部署完成后,可以通过 CADT架构跳转到对应云产品的控制台。在架构上双击对 应的产品组件,在下方弹出的资源清单中,点击“前往控制台”链接,即可跳转到对 应产品的控制台详情页面 ...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
如果不再使用该架构,也可以通过CADT释放 全部量付费资源,CADT无法对包年包月资源进行提前释放。这里需要注意,如果通过CADT创建的VPC、VSwitch中人工通过其他方式添加了资 源,如通过控制台或者API等购买了ECS,释放时因为这些非CADT部署的资源会 依赖VSwitch和VPC,会出现释放失败。遇到这类问题请先去控制台人工进行...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
4 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践概述 部署架构 架构说明 该架构直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、Kafka、函数计算 FC、MongoDB 之间的关系。l 网络架构:n 整个方案会在某个 Region 下,该示例使用的是北京 Region n 在 ...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
SAE-DEMO-CLB 付费模式 量付费 实例计费方式 使用量计费 实例计费方式 高可用部署 SAE-DEMO-CLB 主可用区 北京可用区J 高可用部署 备可用区 北京可用区K 实例类型 私网 计费类型 使用流量计费 IP版本 ipv4 实例删除保护 关闭 文档版本:20240415 3基于MSE和SAE的微服务部署与压测 部署基础环境 资源组 ...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于MSE云原生网关同城多活
基于MSE云原生网关同城多活
借助云原生微服务MSE网关,MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景,实现同城容灾的步骤,体现云原生相关产品在用户上云,高可用同城容灾多活场景下的能力。
步骤8 通过云原生网关 MSE的主动切换服务来源能力,实现无损切换,参考下可以删除 ack-main服务来源。这里使用来源管理进行服务切换,适合主动进行服务切换实现业务无损。查看 PTS压测曲线,主动切换阶段压测曲线中无毛刺 步骤9 压测结束后查看压测报告,点击异常数。文档版本:20240423 42 基于MSE云原生网关同城多活...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
流量:使用流量计费 添加到SNAT策略 资源部署架构:文档版本:20240229基于SpringCloud应用玩转MSE 文档版本:20240229基于SpringCloud应用玩转MSE 3.基础环境搭建 云架构设计工具CADT是一款为上云应用提供自助式云架构管理的产品,显著地降低应用云 上管理的难度和时间成本。它提供丰富的预制应用架构模板,同时也支持...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
 HAVIP  专有网络VPC 最佳实践频道 阿里云最佳实践分享群  弹性网卡ENI  ECS7代存储增强型实例  ESSD块存储  云速搭CADT 钉钉扫描二维码或搜索钉群号 31852400入群OracleRAC12C云上部署 最佳实践 文档版本:20240206(发布日期)OracleRAC12C云上部署 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
大模型 RAG对话系统部署 最佳实践 业务架构 场景描述 大语言模型(LLM)在生成...文档版本:20240131 42 大模型 RAG对话系统部署最佳实践 一键释放资源 步骤4 释放执行耗时依赖云产品自身释放时长及架构中资源量多少,请耐心等待。文档版本:20240131 43 大模型 RAG对话系统部署最佳实践 一键释放资源 文档版本:20240131 44
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
IPv4网关实现流量统一出入口
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制,禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 最佳实践 业务架构 场景描述 云服务器 ECS拥有了公网 IP(例如固定公网 IP或 者 EIP),可以直接访问公网,不受 VPC路由...步骤5 释放执行耗时依赖云产品自身释放时长及架构中资源量多少,请耐心等待。文档版本:20240131 22 大模型 RAG对话系统部署最佳实践 一键释放资源 文档版本:20240131 23
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
步骤8 双击中的 vpc和vswitch,并在右侧根据前期的规划配置合适的网段。文档版本:20240204 8 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 CADT部署环境 步骤9 双击ehpc登录节点,在右侧属性项中,下面说明配置。镜像请选择自定义镜像或者共享镜像。镜像需联系本文作者或者阿里云对接商务提 供。ECS的规格...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
通过云速搭创建具有IPv6地址的ECS
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实,以及工业互联网、物联网、5G 等前沿技术的快速发展,各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业,提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景,提供一键部署模版,进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
一键计算成本,一键部署 产品列表 云服务器ECS 专有网络VPC 最佳实践频道 阿里云最佳实践分享群 IPv6网关 IPv6公网带宽 EIP弹性公网 IP 云速搭CADT 钉钉扫描二维码或 钉群号 31852400 入群 通过云速搭创建具有IPv6地址 的ECS实践 文档版本:20240821(发布日期)通过云速搭创建具有 IPv6地址的ECS实践 文档版本信息 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
图像搜索免费试用以深度学习和机器视觉技术为核心,帮助用户在自建图库中实现相同或相似图片搜索的以搜图服务。视觉计算服务弹性可伸缩的视觉智能计算服务,提供视觉数据接入、AI 算法训练、计算资源调度的能力。全息空间全息空间是面向空间场景重建、理解和应用的AI服务,为空间数字化运营提供三维基础模型和空间理解...
来自: 云产品
互联网、电商Elasticsearch搜索
互联网、电商Elasticsearch<em>搜索</em>
场景描述 每一个生活在互联网中的用户,每天都在经 历各种各样的“搜索”,查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库,Elasticsearch只需要几毫秒的 时间,即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性,能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
步骤8 部署资源成功后,如下所示:5 文档版本:20220121 互联网、电商 Elasticsearch搜索最佳实践 使用 CADT部署基础环境 6 文档版本:20220121 互联网、电商 Elasticsearch搜索最佳实践 电商网站 Demo搭建 2.电商网站 Demo搭建 Democode 下载:使用 git clone https://code.aliyun.com/best-practice/071.git 下载 demo...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,DataWorks,Elasticsearch
< 1 2 3 4 ... 10 >
共有10页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用