基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现<em>阿里云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性,无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力,灰度,回滚,监控开箱 云速搭 CADT 即用•按量付费,没有资源闲置费用 最佳实 践频道 ...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现<em>阿里云</em>Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体的内 容做判断,然后对 MongoDB 做增,删,改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
HTTPS 加速网关-阿里云
网站域名一键接入即可实现网站HTTPS
主备架构,故障秒级切换,业务无感知.满足分服、滚服弹性扩展.游戏公司为了快速抢占市场,需要快速的开发出新产品吸引玩家,数据库Redis版能减少系统开发复杂度,业务爆发时可轻松弹性扩容,满足高性能业务要求.满足游戏分服类应用的分服、滚服弹性扩展需求;数据持久化能力可减轻业务的数据库引擎负担,降低开发复杂度....
来自: 云产品
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫,如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题,阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建,有效助力疫情防。 方案优势: 1、性能优越:Ganos作为自研的时空数据库引擎,相比postgis性能更优秀。 2、安全稳定:故障自动切换自愈,资源隔离,多副本存储。 3、简单易用:开箱即用,兼容postgresql,打通quickbi快速搭建数据分析展示。 4、功能强大:相比postgis在时空模型上做了较多扩充,支持几何模型,栅格模型,网络模型,时空轨迹模型,点云模型,拓扑网络模型。
阿里云数据库快速搭建疫情分析系统 最佳实践 业务架构 场景描述 疫情降临,疫情态势分析和防控任务迫在眉 睫,如果快速搭建高效的疫情态势分析系统 第三方 GIS数据接入 是众多部门和单位的难题,阿里云 RDS PG+Ganos解决方案可在极短时间内完成 分析系统搭建,有效助力疫情防控。GIS数据管理平台 方案优势 1.快速搭建,快速...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云数据库PolarDB,Quick BI
阿里云安全
面向全球用户提供安全防护的云计算安全-阿里云安全
企业面临的各类型攻击与各类场景,阿里云提供针对DDoS攻击、主机病毒勒索攻击、大促黄牛攻击、办公安全等场景下的安全产品使用最佳实践.解决方案最佳实践标题.谢赟辉,靖鑫,也树.阿里云平台自带,默认满足。包括物理访问控制、防火、防雷击、温湿度控制、电力供应、电磁防护.包括网络架构、通信传输、可信验证.包括边界防护...
来自: 云产品
小型互联网迁移阿里云
小型互联网迁移<em>阿里云</em>
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB TX引擎,并且提供了容灾、备份、恢 复、监 控、迁 移 等 方 面 的 全 套 解 决 方 。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20200114 III 小型互联网迁移上阿里云最佳实践 目录 目录 文档版本...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
阿里云最佳实践容器workshop
<em>阿里云</em>最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
本例使用 里云提供的容器镜像服务。文档版本:20220301(发布日期)21 阿里云ACK容器服务workshop Docker实践 2.7.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台。(https://cr.console.aliyun.com/)步骤2 设置 Registry登录密码。文档版本:20220301(发布日期)22 阿里云ACK容器服务workshop Docker实践 步骤3 ...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
等保合规安全解决方案-安全等级保护-阿里云
阿里云安全整合云平台等保测评经验和云安全产品优势,联合等保咨询、等保测评合作资源,可享受一站式等保测评服务,覆盖等保定级、备案、建设整改及测评阶段,祝您快速过等保。
阿里云安全整合云平台等保测评经验和云安全产品优势,联合等保咨询、等保测评机构等合作资源,提供一站式等保测评服务,覆盖等保定级、备案、建设整改及测评阶段,助您快速通过等保测评.频道页banner.等保合规2.0架构.免费领取等保大礼包.为什么做等保测评?76A_标题-copy.唐家哲,靖鑫,也树.满足国家法律法规及行业监管...
来自: 解决方案
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到<em>阿里云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
一般选择默认的可用区即可,亦可选择与已购 里云产品部署在同一个可用区。ECS实例 由 Master和 Worker两种类型的节点组成:Master节点:主要负责集群资源管理和作业调度。默 认节点个数为 1。Worker节点:集群的计算节点,主要负责作业的执 行。最小节点数量 3。本实践方案中,Master实例和 Core实例的选型上,实例 规格...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
新金融人故事-阿里云
金融行业解决方案市场应用案例分享,聆听金融人“数字化转型“路上的那些事儿
阿里云助力的数字金融时代.盘活协同体系,树立保险业数智办公生态标杆.保险公司为什么标配数据中台?阿里云刘伟光:真正的数据中台是什么?金融保险业的云上服务.更多行业动态.IT架构上,建设“大中台、小前台”的架构模式,实现业务快速创新,技术采用金融级分布式架构,打造双模IT的能力.互联网银行解决方案.以大...
来自: 解决方案
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务,通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
阿里云云原生可观测套件 阿里云云原生可观测套件围绕可观测监控 Prometheus 版、可观测可视化 Grafana 版和可观测链路 OpenTelemetry 版,形成指标存储分析、链路存储分析、异构构数据源集成的可观测数据层,通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。让监控&观测更简单,特惠专场上线!Gartner APM与可...
来自: 云产品
阿里云云盒
阿里云云盒(Alibaba Cloud CloudBox)是一种可在客户数据中心进行部署公共云产品,让客户能够在本地扩展和运行原生的阿里云云产品服务,可以满足企业数据本地留存和处理、低延时等业务场景需求。同时,云盒还可以与阿里云公共云进行互通和扩展,使客户能够在本地弹性、灵活地使用公共云的产品和服务。
阿里云云盒(Alibaba Cloud CloudBox)是一种可在客户数据中心进行部署公共云产品,让客户能够在本地扩展和运行原生的阿里云云产品服务,可以满足企业数据本地留存和处理、低延时等业务场景需求。同时,云盒还可以与阿里云公共云进行互通和扩展,使客户能够在本地弹性、灵活地使用公共云的产品和服务.频道页banner.谢赟辉,...
来自: 云产品
阿里云云效
云效,一站式Devops平台,支持公共云、专有云和混合云多种部署形态,通过云原生新技术和研发新范式,助力创新创业和数字化转型企业快速实现组织敏捷和研发敏捷,打造“双敏”企业,实现10倍研发效能提升。
阿里云云效,云原生时代新DevOps平台,支持公共云、专有云和混合云多种部署形态,通过云原生新技术和研发新模式,助力创新创业和数字化转型企业快速实现研发敏捷和组织敏捷,打造“双敏”组织,实现多倍效能提升.专有云/混合云 免费咨询.云效开发者交流群(钉群:35236467).孙慧颖,靖鑫,也树.阿里云DevOps助理工程师(ACA...
来自: 云产品
阿里云DNS
阿里云DNS覆盖了公网权威域名解析、内网域名解析、移动解析以及专有云的域名解析场景。为广大用户提供稳定、安全、快速、智能的域名解析服务,助力网站快速实现域名迁移及网站搭建,企业上云就来阿里云。
阿里云 DNS 是阿里云提供的全系列域名解析服务产品总称。不同于传统的 DNS 只覆盖单一环境,阿里云 DNS 产品覆盖了公网域名解析、VPC 内网域名解析、移动解析以及专有云的域名解析场景。为广大用户提供稳定、安全、快速、智能的一站式域名解析服务.【长久低价】云解析DNS低至19块9/年,新老用户同享!【长久低价】云解析DNS...
来自: 云产品
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件,帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署,支持Java规约、高效执行终端命令和 SQL等常见工具,研发速度提升8倍以上,大幅降低研发成本。
整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境.阿里云资源编排服务(Resource Orchestration Service 简称 ROS)是一种简单易用的云计算资源自动化部署服务。用户可以通过使用Json/Yaml格式的模版描述多个云计算资源(如ECS、RDS、SLB)的配置、依赖关系等,并自动完成所有云资源在多个不同地域...
来自: 云产品
阿里云电子政务云安全解决方案
阿里云电子政务云安全解决方案基于合规的阿里云平台,并标配多项高等级安全能力,满足政务应用系统的综合安全防御需求,为此提供一个合规、安全、可靠的政务专属云平台;只需业务上阿里政务云,便可一站式解决安全、合规等需求;减少传统繁琐建设流程。
阿里云电子政务云安全解决方案.基于合规的阿里云平台,并标配多项高等级安全能力,满足政务应用系统的综合安全防御需求,为此提供一个合规、安全、可靠的电子政务专属云;只需业务上阿里云电子政务云,便可一站式解决安全、合规等需求;减少传统繁琐建设流程.谢赟辉,靖鑫,也树.典型政务应用安全架构.认证为阿里云电子政务云...
来自: 解决方案
阿里云盘企业版
阿里云盘企业版(Cloud Drive Enterprise Edition, 简称 CDE)是基于阿里云存储高可用及高安全能力提供的一项企业级云存储服务
阿里云盘企业版 CDE.阿里云盘企业版(Cloud Drive for Enterprises,简称CDE,原网盘与相册服务企业版)是基于阿里云存储高可用及高安全能力提供的一项企业级云存储服务,帮助企业轻松实现数据的存储、共享、管理和备份,解决办公文件的搜索、共享、审计等管理难题,助力企业实现数据存储到商业价值变现的一站式文件管理和...
来自: 云产品
渗透测试|阿里云安全
阿里云渗透测试团队以攻击者思维,模拟黑客对业务系统进行一次全面深入的安全测试,帮助企业挖掘出正常业务流程中的安全缺陷和漏洞。助力企业先于黑客发现安全风险,防患于未然。
主备架构,故障秒级切换.SQL Server实例提供主备架构保证高可用,实例故障后自动切换至镜像实例,由阿里云顶尖数据库专家维护,保证您的业务永续.提供数十种性能指标监控,可自定义配置报警功能,让用户时刻了解数据库运行状态.主备架构,故障秒级切换.SQL Server实例提供主备架构保证高可用,实例故障后自动切换至镜像...
来自: 云产品
阿里云解决方案基因专题
阿里云解决方案包括通用解决方案, 行业解决方案和生态解决方案,沉淀阿里云十年、百万用户最全面的业务场景,结合阿里巴巴集团技术创新能力,提供云原生、数据智能、零售、金融、制造等多个领域的解决方案。
下载阿里云基因行业介绍.无需固定投入,按需弹性伸缩.使用公有云,混合云等新型模式,无需采购机器,可扩展到任意规模,完全按需付费.分析效率提升,节省大量成本.基因专属实例,高效作业调度系统,集成GPU、FPGA加速软件,节省50%以上计算成本.云端传输加速,解决交付难题.提供从测序仪到最终用户的全链路传输服务,存储...
来自: 解决方案
云效Maven公共仓库-阿里云
云效,新型企业级一站式协同研发平台,源于阿里巴巴多年先进的管理理念和工程实践,提供从“需求->编码->测试->发布->运维->运营”端到端的协同服务和研发工具支撑。云效将战略规划、敏捷研发、持续集成、持续交付、DevOps等理念引入银行、保险、民航等大型企业和互联网初创企业,支持公有云、专有云和混合云的协同研发,助力企业产品快速创新迭代和研发效能升级。
阿里云Maven公共仓库提供了maven central、jcenter、google、spring等常用maven制品仓库的镜像功能。用户可以通过页面浏览仓库内容、检索和下载制品。阿里云对制品下载链路进行深度优化,速度更快,使用更稳定.提供对maven central、jcenter、google、spring、grails等库的镜像代理.完备Maven公共制品仓库.完备Maven公共...
来自: 云产品
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用