基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
文档版本:20240408 6 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 因为CADT是可以一站的帮用户创建实例、部署实例、创建 Topic/Group,所以这里 可以一气呵成的将这些配置信息全部设置好,相较在产品控制台上多个步骤,跳转多 个页面做开通部署配置的传统方式,CADT这种模式可以极大提高效率。...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
文档版本:20240422 4 基于函数计算实现自定义直播-拉流-录制-存储-通知 最佳实践概述 部署架构 架构说明 该方案的整条链路是非常清晰明确的:用户发起直播流程。直播系统/APP里发起对函数计算的 API 调用,并带上直播流地址。函数计算根据用户发起的请求,动态弹性伸缩,对直播流进行录制。录制结束后,把文件写入 OSS,并...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
智作工坊
智作工坊是阿里云为泛教育、企业提供的高效AIGC(人工智能生成内容)PAAS服务,包括文生图、图生图、文生视频、图生视频等功能,支持通过API接口和UI集成至客户系统,简单灵活。算力资源按量付费,弹性性价比更高
采用前后端分离架构,仅根据算力使用计费,仅开启UI界面不产生任何费用.支持自主上传模型,实现模型数据隔离,确保数据产权保护.为企业提供生图服务能力.为生图业务场景提供原子能力.我们提供灵活的生图服务,支持端到端的场景构建和算力环境,或者仅使用我们的弹性算力,助您快速上线新业务场景.根据您的需求构建工作流,...
来自: 云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
本产品提供丰富的预制应用架构模 板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用 户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。文档版本:20240330 5基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 前置条件 前置条件 在进行本文操作之前,您...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
本产品提供丰富的预制应用架构模 板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用 户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。文档版本:20240329 2容器场景下的应用性能监控、调用链拓扑、内存剖析 前置条件 前置条件 在进行本文操作之前,您需要完成...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
本产品提供丰富的预制应用架构模 板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用 户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命周期的管理。文档版本:20240311 5SAE-ACK应用双跑 前置条件 前置条件 在进行本文操作之前,您需要完成以下准备工作: 注册阿里云账号,...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
基于ESSD存储NVMe协议提供的多实 例共享能力的双机集群OracleRAC ,为用户提供统一数据服务的同时提 供故障切换与恢复能力(FailOver集群 功能),避免单点故障,减少停机时间,确保系统全年7*24小时稳定运行。2.在集群环境运行中的所有实例通过共享 的数据库运行事物,RAC架构相对上层 应用架构完全透明,整体数据负载...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
4 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践概述 部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络(VPC,交换机,安全组)、Kafka、函数计算 FC、MongoDB 之间的关系。l 网络架构:n 整个方案会在某个 Region 下,该示例使用的是北京 Region n 在 ...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
方案架构 架构说明 1.涉及的主要云产品及其用途。a)vpc/vswitch:专有网络和交换机,网段建议不要和存量 IT基础设施中的网 络段重合。建议结合ehpc serverless集群将来的作业并发规模来合理规划网 段。比如说,作业并发运行时需要启动 1000个节点,那么交换机的网段地址 至少需要能提供 1000个 IP地址,可以设置网段为 192....
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
通过PTS压测,展示SAE弹性能力 文档版本:20240415 IV基于MSE和SAE的微服务部署与压测 最佳实践概述 部署架构 架构说明  1个SAE命名空间(SAE-Namespace) 3个SAE应用(sc-A,sc-B,sc-C),采用高可用部署, 1个EIP(NAT-EIP), 1个SLB(SAE-DEMO-CLB), 1个MSE注册配置中心(MSE-Nacos), 1个SAE使用的安全组(SAE-...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
 云速搭CADT(CloudArchitectDesignTools)是一款为上云应用提供自助架构管理的产品,显 著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支持自助拖 拽方式定义应用云上架构,用户可以方便地对云上架构方案的成本、部署、运维、回收进行全生命周 期的管理。文档版本:20240229基于...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
实人认证
阿里云实人认证是为企业或个人身份提供相关信息核验服务的身份验证平台,采用活体检测、人脸识别、权威信息核验等技术,为客户提供安全、便捷的身份认证服务。
领先的高可用稳定性架构解决应用可持续问题全链路可容灾降级设计、多渠道调度高并发架构,为客户持续提高稳定可靠的身份认证服务。丰富多样的部署集成形态解决客户集成效率问题支持公共云、混合云部署。支持SDK、PC/H5、UniApp、支付宝小程序等多样化集成方式。产品功能活体人脸检测支持人脸、声纹多样化生物识别算法,检测...
来自: 云产品
通过云速搭创建具有IPv6地址的ECS
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实,以及工业互联网、物联网、5G 等前沿技术的快速发展,各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业,提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景,提供一键部署模版,进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
应用场景 针对具备 IPv6地址的ECS提供可视化架构 支持方案的批量部署和效果验证 部署架构 架构说明 我们在新建ECS实例时只分配IPv4地址,不分配IPv6地址。如果业务上需要使用IPv6地址并通 过IPv6地址进行通信时,需要配置IPv6地址。本文将会介绍通过云速搭快速创建和验证。预置部署模版,新建具有IPv6环境的VPC和交换机 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
一站交互填报解决复杂表格数据收集问题将报表展示和填报录入相结合,综合计算填报数据和数据集取数结果,从填报任务下发、数据录入、权限管理、入库审批等多链路确保数据采集和数据分析的顺畅度。产品功能个人版高级版专业版数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有...
来自: 云产品
Alibaba Cloud Linux
Alibaba Cloud Linux 是阿里云打造的 Linux 服务器操作系统发行版。为云上应用程序提供 Linux 社区的增强功能,同时通过引入更完善的发行版质量体系,确保产品品质,提供云上最佳用户体验。
为了应对大规模节点管理场景,云原生节点管理模式应运而生。2023-11-15云原生机密计算最佳实践白皮书随着数据资源开放共享和数据安全威胁的增加,隐私保护云计算成为数据处理的新范式,而机密计算是实现隐私保护云计算的关键核心技术之一。我们将云原生机密计算 SIG 的技术和解决方案的沉淀做了整理汇总,挑选其中精华的...
来自: 云产品
SaaS上云数据库解决方案
行业软件提供商通过集成阿里云数据库产品和工具的OpenAPI,可以实现一键新建数据库实例,创建租户DB、租户DB迁移、租户数据订阅、租户DB备份/恢复、实时报表分析、多环境的结构同步等功能。
行业软件SaaS化的过程中,数据库架构和设计模式是SaaS系统架构的核心,阿里云完善的数据库PaaS生态可以让ISV快速集成,上云的效率可以提升20%以上.谢赟辉,靖鑫,也树.SaaS数据库解决方案架构综述.本架构采用大租户独享数据库实例,小租户共享数据库实例。通过数据库和业务监控,可以灵活地把业务增长快的租户从共享实例迁移...
来自: 解决方案
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台计算巢服务产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规客户案例常见问题社区计算巢服务一站软件云化平台,构建云原生 SaaS,完成传统软件 SaaS 化,助力 ISV 云化转型。立即购买免费试用快捷入口...
来自: 云产品
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
详见:https://www.aliyun.com/product/actiontrail CADT:是一款为上云应用提供自助架构管理的产品,显著地降低应用云上管 理的难度和时间成本。本产品提供丰富的预制应用架构模板,同时也支持自助拖 拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用户可以方便的 对云上架构方案的成本、部署、运维、回收...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
OA云资源申请流程自动化
OA云资源申请流程自动化
在企业级客户场景中,对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案,以解决OA云资源申请流程中的自动化问题,提高运维效率,以更好地支撑业务创新。
OA云资源申请流程自动化 最佳实践 业务架构 场景描述 在企业级客户场景中,对云资源的使用通常需要经过 内部 OA流程审批通过后再进行部署。本最佳实践致 力于提供一个通用解决方案,以解决 OA云资源申请 流程中的自动化问题,提高运维效率,以更好地支撑 业务创新。应用场景 OA云资源申请流程自动化部署。无影云电脑申请...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,云速搭
微服务引擎的线上流量治理
微服务引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 七凌、子墚、望陶 V1.0 2021-01-20 天裵、宁海 创建 十眠 增加 CADT 部署 V1.1 2024-02-26 厉博 ,更新文档内容。文档版本:20240226 I 微服务引擎的线上流量治理 前言 前言 产品介绍 专有网络 VPC(Virtual Private Cloud):帮助您基于阿里云构建出一个隔离的...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
< 1 2 3 4 ... 18 >
共有18页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用