基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
云速搭 CADT(Cloud Architect Design Tools):是一款为上云应用提供自助式云架构 的产品,显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构 模板,同时也支持自助拖拽方式定义应用云上架构;支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
飞天企业版
阿里云飞天企业版是基于阿里云飞天云计算操作系统,为政企客户专属构建的资源和云管完全独立的企业级云平台,阿里云专有云与公共云同根同源,支持私有化部署。
统一可管理提供ASR统一容灾管理平台,对全栈产品进行容灾监控、演练、故障切换,有效降低容灾管理难度,实现对容灾全过程的可管理。容灾场景丰富支持同城、异地、多活、两地三(四)中心、多对一、跨Region等各类容灾场景,具备RPO=0等高等级容灾能力,可满足各类场景下的不同需求。方案成熟可信业内最早提供全栈云容灾...
来自: 云产品
SAE-ACK应用双跑最佳实践
SAE-ACK<em>应用</em>双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 容器服务 Kubernetes 版 ACK(ContainerServiceforKubernetes):全球首批通过 Kubernetes一致性认证的容器服务平台,提供高性能的容器应用管理服务,支持企业级 Kubernetes容器化应用的生命周期管理,让您轻松高效地在云端运行Kubernetes容器化应 用。 微服务引擎MSE(MicroservicesEngine):一个面向业界主流开源...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
24 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 创建 库和集合 2.3.MongoDB 步骤1 点击页面右上角登录数据库按钮,进入 DMS 管理平台。输入 MongoDB 用户名和密码(在基础环境搭建的步骤 10 中配置,用户名默认为 root,模版中密码默认为 123456!qaz),管控模式选择自由...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
云消息队列 Confluent 版
云消息队列 Confluent 版是阿里云与 Apache Kafka 项目创始团队所创立的 Confluent 公司合作,基于 Apache Kafka 核心能力提供的企业级全托管消息队列服务,旨在为企业提供集成消息流式处理与大数据系统的一站式解决方案。
为人工智能系统和应用程序提供实时的、上下文相关的、高度管控的、值得信赖的数据,能够高效地推动人工智能驱动的应用程序实现规模化生产与交付.客户洞察与体验优化.客户洞察与体验优化.实时响应客户互动行为,构建一个全面详尽的数据视图,去标识化地分析客户,以高效的方式实现与客户的互动——实时跨所有数据孤岛和系统...
来自: 云产品
物联网平台
物联网平台提供全托管的企业级实例服务,具有低成本、高可靠、高性能、高安全的优势,无需自建物联网基础设施即可接入各种主流协议设备,管理运维亿级规模设备,存储备份和处理分析EB量级的设备数据,帮助企业快速实现设备数据和应用数据的融合,实现设备智能化升级。
提供面向企业客户的物联网平台实例,支持设备接入、设备管理监控运维、数据处理等功能.谢赟辉,靖鑫,也树.百万级在线车辆并发接入,车辆身份认证保障数据安全.基于阿里云物联网平台稳定、安全、低延时的特性,实现了实时车辆电池状态和能耗曲线监测、远程车辆控制、车机固件OTA升级等车联网能力构建.全球亿级连接高并发...
来自: 云产品
应用交付平台ADP
阿里云云原生应用交付平台ADP,借助容器和k8s等云原生技术带来的标准化编排交付和IaaS解耦能力,解决在私有化环境进行交付时的异构环境适配、部署复杂、云服务依赖和持续运维问题。
为上层业务应用的运行和管理维护提供必要的系统支持,含 K8s,日志收集、监控告警、故障诊断等,为软件提供可靠运行环境及运维工具.上架和管理各类通用中间件,提供给产品编排阶段进行引用和配置.蔡伟杰,靖鑫,也树.云原生应用交付平台 ADP 提供在线的统一产品和交付管理能力,在线上完成产品定义、编排、集成及验证,直至...
来自: 云产品
基因分析平台
阿里云基因分析平台可以提供端到端的基因计算PaaS服务。支持GA4GH行业标准,集成生信分析应用,大幅优化成本效率,快速处理海量基因数据。
平台集成了生信分析软件,包含序列比对、排序去重、变异识别、群体分析等多种应用平台提供了基于CPU/GPU/FPGA的加速算法和应用,减少数据分析时间,降低成本。同时支持第三方分析软件和镜像.无需创建和管理任何集群,使用模块化、版本化和开箱即用的生信流程和工具,直接分析任意规模的基因数据,作业自动执行,提供实时...
来自: 云产品
管理
面向企业上云和用云管理,提供管理云服务和云资源体系化工具及方案,帮助企业上好云、管好云。
对云计算基础设施和服务进行管理,结合访问控制、资源管理、配置审计、操作审计等运维管理工具,可以完成管理虚拟化基础设施、配置管理云服务、设计实施安全策略、监控分析云服务性能、制定并执行业务连续性计划。企业可以更好地管理云资源和服务,提高效率、降低管理成本,提升业务的灵活性、可扩展性和可靠性.免费领取|...
来自: 云产品
迁移与运维管理
阿里云提供一系列的运维管理工具:日志服务SLS、云治理中心等帮助你自动化的开发和运维,能够更加轻松控制云基础产品与基础设施。
阿里云提供一系列运维管理工具帮助用户实现简化、自动化地运维管理,使用这些工具,用户可以实现全站云资源的优化,进行协同工作并实现运维与监控、云管理、备份与迁移,帮助用户轻松控制云基础产品与基础设施.查看阿里云所有产品.频道页banner.谢赟辉,靖鑫,也树.【标题】产品动态-copy.日志服务是云原生观测分析平台,为...
来自: 云产品
电子招投标平台解决方案
阿里云电子招投标平台解决方案可以快速支持客户需求,助力企业流程创新,招投标过程电子化,帮助处于疫情困境中的企业,建设在线采购供应链能力,为企业正常经营护航。
帮助企业构建完整的 DevOps 链路,真正从代码托管,应用构建,持续集成,持续部署直至运维监控,提供一站式服务的 PaaS 平台,有效地提高企业的 IT 研发、运维、运营效率,降低成本.全渠道零售解决方案.全渠道零售解决方案是由端点自主研发的软件产品,适用于电商系统搭建、O2O线上线下一体化、线下门店智慧化管理、数字化...
来自: 解决方案
分布式云容器平台ACK One
阿里云分布式云容器平台ACK One面向混合云、多集群、分布式计算等场景,支持连接您任何地域、基础设施上的K8s集群,提供一致的社区兼容的API,助力管理分布式云资源
提供托管式的管理微服务应用流量管理平台,并兼容 Istio.提供阿里云产品或 分布式云容器平台认证的云原生软件,并可以一键部署到任何地域和集群.面向批处理、数据处理、科学计算、持续集成等业务场景,提供全托管 Argo 工作流集群,实现大规模工作流编排与高效弹性运行,同时 Serverless 弹性能力优化工作流运行成本.谢赟辉...
来自: 云产品
MSE网关使用JWT进行认证鉴权
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务,通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景,对于敏感的服务路由(可通过黑白名单方式配置)在网关层进行认证鉴权。
Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简 易用、自适应弹性的应用全托管平台。SAE能够让您免运维 IaaS和 K8s,秒级完 成从源代码、代码包、Docker镜像部署任意语言的在线应用(例如 Web、微服务、Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载 均衡等配套能力...
来自: 最佳实践 | 相关产品:负载均衡 SLB,Serverless 应用引擎,微服务引擎
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化<em>平台</em>
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
兼容POSIX文件接口,可支持数千计算节点共享访问,可 以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计 算BCS、高性能计算EHPC,AI训练PAI等计算业务上提供高性能的共享存储,用户无需修改应用程序,即可无缝迁移业务系统上云。更多信息,请参见 https://www.aliyun.com/product/nas。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
综合能源服务平台解决方案
阿里云综合能源服务平台解决方案以“厚平台、微应用”方式构建面向竞争性综合能源服务的业务中台,快速构建节电节能、电力需求侧、电务、能效管理、储能、微网一体化和能源电力交易等生态化应用。
以“厚平台、微应用”方式构建面向竞争性综合能源服务的业务中,快速构建节电节能、电力需求侧、电务、能效管理、储能、微网一体化和能源电力交易等生态化应用.谢赟辉,靖鑫,也树.综合能源服务平台解决方案.以“内外协同互联,数据标准共享”为基础集成多个工业应用,通过物联网和数据计算实现企业对内与对外业务的高效...
来自: 解决方案
混合云数据库统一管理
混合云数据库统一<em>管理</em>
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
通过数据库网关,用户可以使用应用程序或云服务访问并 本地 IDC 或其他云厂商的数据库。更多信息,请参见 https://www.aliyun.com/product/dg RDS:Relational Database Service,简称 RDS,是一种稳定可靠、可弹性伸缩 的在线数据库服务。基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、...
来自: 最佳实践 | 相关产品:数据传输,数据管理
政务行业云解决方案-政务-政府上云-政府云平台-阿里云
政务行业云解决方案为政务行业云量身定制,安全合规的政务专属云资源服务平台,提供与公共云完全隔离的的,高安全合规的专属高规格物理集群,可以承载非涉密的敏感信息和重要政务业务并提供政务行业专业的SaaS服务。
2、根据国家等级保护监管部门明确的云计算平台测评结论复用原则,中国政务云的客户系统通过等级保护测评时只需测评自身业务系统安全,及所负责管理和维护的虚拟机、虚拟网络和数据库安全,无需对云平台进行重复测评。3、通过等保合规生态的建立,可以帮助客户迅速找到等保相关的各方机构,并快速进行项目实施。在等保实施每...
来自: 解决方案
监控
云监控(CloudMonitor)是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控,提供丰富的指标数据和强大开放的平台能力,第一时间发现和定位问题构建完善的监控运维体系。
借助云监控应用分组,客户得以从容应对大规模的资源管理和监控的挑战,结合报警模板的合理应用,使得多变的资源自动纳入到统一的监控管理中.客户使用了阿里云近百款的云产品,希望通过统一的方式对各类云产品的运行状况进行全面的监控,能在第一时间获悉出现异常的实例和服务。云监控的云产品监控覆盖了百余款云产品数千...
来自: 云产品
应用实时监控服务ARMS
作为云原生可观测平台,应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率,压降运维工作量。
作为云原生可观测平台应用实时监控服务提供全栈性能监控告警与端到端追踪诊断能力。覆盖浏览器、小程序、APP 等客户端环境,观测与分析用户行为、页面性能,精准把握用户体验。覆盖分布式、微服务等应用架构与容器、Serverless 等部署环境,对服务调用、系统负载等进行监控与调用链分析,全面洞察与优化应用性能.日志服务...
来自: 云产品
机场视频监控
机场视频<em>监控</em>
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
打 开 浏 览 器,登 录 OSS 的 ,地 址 是 https://oss.console.aliyun.com/overview 进入如下页面: 在左侧存储空间列表中,单击要设置生命周期的bucket,这里是“zhangjiankou-video”.49 企业上云实践 机场视频监控最佳实践 2.进入如下概览页面: 点击基础设置 3.进入如下页面: 下拉找到“生命周期...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
< 1 2 3 4 ... 14 >
共有14页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用