基于函数计算FC实现阿里Kafka消息轻量级ETL处理
基于函数计算FC实现阿里<em>云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎:阿里云 Kafka架构,有云存储和 Local存储。(详细对比参见文档:https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines )◆消息类型:普通消息。创建Group:◆Group名称:根据实际业务自行填写。Group描述:根据实际业务自行填写...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里<em>云</em>Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
u 存储引擎:阿里云 Kafka 架构,有云存储和 Local 存储。(详细对比参见文档:https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines )u 消息类型:普通消息。创建 Group:u Group 名称:根据实际业务自行填写。u Group 描述:根据实际...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
Oracle RAC 12C上部署
Oracle RAC 12C<em>云</em>上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
云企业网CEN:云企业网(CloudEnterpriseNetwork,简称CEN)是阿里云提 供的一款能够快速构建混合云和分布式业务系统的全球网络服务,为用户提供优 质、高效、稳定的网络传输环境,帮助用户打造一张具有企业级规模和通信能力 的云上网络。适用于集团企业、全球网络等场景。 转发路由器TR(TransitRouter):提供连接...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现<em>企业</em>级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
 存储引擎:阿里云Kafka架构,有云存储和Local存储。(详细对比参见文档:https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for-kafka/pro duct-overview/comparison-between-storage-engines) 消息类型:普通消息。创建Group: Group名称:根据实际业务自行填写。 Group描述:根据实际业务...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比如ECS、负载均衡、RDS等。 函数计算FC(FunctionCompute):函数计算是事件驱动的全托管计算服务。使用函数计 算,您无需采购与管理...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实 例,比如 ECS、负载均衡、RDS等。Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简易用、自适应弹性的应用全托管...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着原生及微服务技术的普及,越来越多的系 统已经通过原生和微服务技术实现企业的降 本增效,同时因微服务及原生的复杂性给系统 运维带来非常大的挑战,原生应用监控arms 通过全链路应用监控,从端到端及代码级别的链 路下钻能力、CPU...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合成为常态,Forrester报告中指出,未来89%的企业至少使用两个,74%的企业 至少使用三个甚至更多公有,在面对多云/混 合这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑 战,本方案给出了在多云/混合场景下,构建 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比如ECS、负载均衡、RDS等。 负载均衡SLB(ServerLoadBalancer):一种对流量进行按需分发的服务,通过将流量分发 到不同的后端服务来...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
SG), ARMS资源开通(arms), PTS基础资源包(PTS压测包)产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有 文档版本:20240415 V基于MSE和SAE的微服务部署与压测 最佳实践概述 网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内 创建和管理产品实例,比如ECS、...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
效制品仓库 Packages
云效制品仓库 Packages提供Maven私有仓库、Npm私有仓库、通用制品仓库等企业级私有制品仓库服务,用于maven、npm等软件包和依赖管理。
企业私有制品库,全面保障制品安全.效制品仓库 Packages.效售卖模式.适用于小型企业或团队.效功能详情.可购买升级基础资源包.适用于较大规模的企业或团队.效功能详情.适用于资源容量不足的企业和团队.适用于60人以下研发企业或团队.效产品培训.适用于100人以下研发企业或团队.效精益敏捷最佳实践.适用于200...
来自: 云产品
智能分支
阿里云智能云分支是一站式SD-WAN+SD-LAN网络方案,为客户门店和办公构建网络效能中心,而提供的云上云下E2E一体化,异构管控,安全可靠的云托管网络服务。
线下多个分支之间,分支和总部之间,分支和IDC/私有云之间,分支和公有云之间,通过智能网关快速就近接入阿里云POP点,构建安全稳定的传输网络.分布在多个物理位置的用户之间互访,用户访问公有云和私有云的业务,用户就近接入POP点,提升用户体验.提升访问速度.内网传输安全敏感数据,无需担心被外部窃取.保障数据安全....
来自: 云产品
服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
PrivateLink网连接:实现专有网络VPC与ECS建立安全稳定的私有连接,您可以像在VPC中一样访问ECS,避免通过非必要的公网访问服务带来的潜在安全风险。数据安全数据加密:ECS提供云盘加密、数据传输加密、存储加密等多种数据加密方式,为用户的数据安全提供全面保障。备份恢复:ECS提供快照备份恢复、镜像备份恢复、内外网...
来自: 云产品
原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
阿里拥有丰富的原生产品家族,全面的原生开源贡献,大规模的原生应用实践,以及广泛的原生客户群体,为企业数字创新提供全方位能力支撑.原生产品手册下载.阿里云云原生.目前基于Java Agent实现的原生可观测、微服务治理能力被越来越多的采用。比如开源的Skywalking、OpenTelemetry,商业化的阿里MSE等,都...
来自: 云产品
混合HBR上备份VMware虚拟机
混合<em>云</em>HBR<em>云</em>上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
混合HBR上备份VMware虚拟机 最佳实践 业务架构图 场景描述 本文主要介绍一种简单且具备成本效益的混合下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到上,本文重点介绍 混合下...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
混合存储
阿里云混合云存储包括混合云存储阵列、混合云CPFS存储、混合云分布式存储等多种产品类型。本地存储可以通过云缓存、云同步、云备份等方式无缝连通云存储,轻松实现云端一体。
私有云、容器、数据库、海量数据存储、HPC、AI/大数据,每个场景都能提供最合适的方案.针对业务场景优化.严苛的测试验证流程,优异的性能与稳定性.软硬一体集成.查看产品文档.混合云存储包括混合云存储阵列、混合云CPFS存储、混合云分布式存储等多种形态,用户可以像使用本地存储一样使用和管理本地和云端的各种存储资源...
来自: 云产品
虚拟桌面架构的高性能体验上部署
虚拟桌面架构的高性能体验<em>云</em>上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
私有 IP通过 ecs控制台查看,如图:通过 ping 192.*.*.147 68 企业上云实践 虚拟桌面架构的高性能云上部署|创建云企业网 两个 VPC下的资源,可以正常访问互通了。实现全球互联。为保证业务正常运行,请购买完带宽包后设置互通地域带宽。如果需要一张网下的部 分服务不能访问,可以通过设置安全组规则。本示例略。69 企业...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
大数据分析与营销科技服务提供商神策数据与阿里计算巢展开合作,通过阿里计算巢平台实现神策分析上数字营销和分析系统的自动化部署,围绕“降低企业运营成本”“提升应用交付效率”两大核心目标,共探云端私有化部署新形态.当下 Serverless 技术已经成为所有企业和开发者的首选之一,随着 Serverless 的发展,应用的...
来自: 云产品
效项目协作Projex
阿里云云效项目协作 Projex提供项目管理、迭代规划、需求管理、缺陷管理、任务管理等项目管理功能及效能数据统计,支持单项目管理、跨项目协作等丰富的协作场景
提供基于Maven、Gradle、Helm等软件包管理工具的企业私有仓库服务,用于管理企业级依赖托管.效制品仓库.标准化管理测试用例,快速搭建一体化「开发->测试->反馈」流程,有效提升交付效率和质量.效测试管理.通过可协作的结构化文档,将知识积累和沉淀下来,并在团队中有效流动,由此提升企业的创造力.专业的交付过程...
来自: 云产品
上IT治理workshop
<em>云</em>上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
产品列表 专有网络 VPC 资源管理 Resource Management 云服务器 ECS 配置审计 Config 最佳实践频道 阿里云最佳实践生态群 操作审计 ActionTrail 访问控制 RAM 云上 IT治理 Workshop 文档版本信息 阿里 企业上云最佳实践 云上 IT治理 Workshop 文档版本:20210909(发布日期)云上 IT治理 Workshop 文档版本信息 文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用