基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
对象存储 OSS:对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等 各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理 能力更便捷地使用数据。云速搭 CADT(Cloud Architect Design Tools...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
SAE-ACK应用双跑最佳实践
SAE-ACK<em>应用</em>双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 阿里云微服务引擎(MSE)解决问题  阿里云容器服务(ACK) 安全组  因为K8s的HPA设置相对复杂,默认提供  云速搭CADT 的CPU和内存不能满足实际需求(尤其是 Java技术栈),所以可以将弹性波动大的 部署在SAE,借助SAE更丰富的HPA规 则应对流量脉冲。 K8s架构向Serverless架构迁移的平滑过 渡。最佳实践...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
应用场景 在大数据 ETL 场景,将 Kafka 中的消息流转到其 他下游服务是很常见的场景,除了常规的消息流 转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。该方案实现了通过 Kafka 中消息 Key 的内容来判 断应该对 MongoDB做增、删、改的哪种 DML 操 作。当 Kafka 收到消息后,会自动触发函数计算中...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
物联网平台设备数据上云
物联网平台设备数据上云方案为企业提供海量物联网设备的数据接入与处理。提供了多种类型设备的稳定接入、安全防护、实时监控,满足企业一站式管理设备、处理数据的需求。具有高可用、高并发、低成本的优势。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台物联网平台设备数据上云方案介绍方案优势应用场景方案部署物联网平台设备数据上云物联网平台设备数据上云方案为企业提供海量物联网设备的数据接入与处理。提供了多种类型设备的稳定接入、安全防护、实时监控,满足企业一站式管理设备、处理...
来自: 解决方案
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
相关产品智能商业分析 Quick BI在线咨询资源集中化管控方案本方案通过开放 API 和开放 webhooks 事件监听的能力实现企业资源的集中化管控,企业平台通过开放 API 接口对报表资源进行查询、删除、发布、下线、移动等操作,同时企业的报表开发者/管理员在 Quick BI 的工作中对作品进行的变更会通过客户的自定义渠道 ...
来自: 云产品
API网关
API网关(API Gateway)是阿里云公司出品的高性能API托管服务,帮助用户对其API进行管理,快速构建以API为核心的技术架构,满足系统集成、开放平台、数据中台等场景。
通过API网关提供标准的 API 服务,让其他开发者将不同 API 服务组合整合到自己的应用中,衍生出新的服务,促进企业建立商业生态、跨界创新.将 API 接入 API市场,以 API的形式供广大开发者采购使用.在 API市场,采购第三方成熟的能力和服务,专注专业,借力发展.云服务器ECS.负载均衡SLB.推荐搭配使用.拥抱 API 经济,开拓...
来自: 云产品
生活物联网平台
阿里云IoT针对消费级智能设备领域的物联网平台,为解决设备快速智能化中常遇到的设备连接、App控制、设备消息推送、语音控制、设备管理、数据统计等问题,提供一整套配置化方案,大幅减低“设备-云端-App”的开发成本。
定义物模型,支持标准和自定义功能,便于语音控制和互联互通.调试真实设备,验证设备端、云端、App端,三端上下行数据通信.大幅简化了App开发任务,快速配置设备面板、告警消息、多语言等.成唯一的设备证书,支持多种烧录形式,例如一机一密.天猫精灵连接芯片,具有高性能、高可靠性、低成本、易开发等优势,为合作品牌/...
来自: 云产品
分布式身份服务
分布式身份服务 DIS 通过蚂蚁区块链,安全的存储个人和企业用户的身份信息,并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互,使得企业和机构可以更合规的使用和管理用户身份信息及数据授权,而身份信息的真实性得到了极大的保障。
是企业级区块链平台服务,支持Hyperledger Fabric、蚂蚁金自研区块链技术、以及企业以太坊Quorum,为您构建更安全稳定的区块链环境,简化部署运维及开发流程,实现业务快速上链.区块链 BaaS 平台.为上链应用提供链上链下数据交叉核验,保证链上流转数据可信扩展,并提供通用的、隐私保护的数据分析能力,支持多方业务数据...
来自: 云产品
可信计算服务
可信计算服务C3S为上链应用提供链上链下数据交叉核验,保证链上流转数据可信扩展,并提供通用的、隐私保护的数据分析能力,支持多方业务数据融合和治理,适用于金融风控、数字物流等场景。
是企业级区块链平台服务,支持Hyperledger Fabric、蚂蚁金自研区块链技术、以及企业以太坊Quorum,为您构建更安全稳定的区块链环境,简化部署运维及开发流程,实现业务快速上链.区块链 BaaS 平台.通过蚂蚁区块链,安全的存储个人和企业用户的身份信息,并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供...
来自: 云产品
跨链数据可信连接服务
跨链数据连接服务 ODATS 是利用蚂蚁区块链领先技术实现的跨链数据连接服务。通过制定标准化的区块链UDAG全栈跨链协议,保证跨链交易的安全性、可扩展性及可靠性,打破区块链数据孤岛,实现同构及异构链之间的可信互通,助力企业之间可信协作,促进产业生态可信融合。
是企业级区块链平台服务,支持Hyperledger Fabric、蚂蚁自研区块链技术、以太坊Quorum,为您构建更安全稳定的区块链环境,简化部署运维及开发流程,实现业务快速上链.区块链 BaaS 平台.通过蚂蚁区块链,安全的存储个人和企业用户的身份信息,并在保护隐私的情况下提供身份标识和信息交互,使企业和机构可以更合规的使用和...
来自: 云产品
跨链数据连接服务解决方案
利用蚂蚁区块链领先技术实现的跨链数据连接服务 Open Data Access Trusted Service(ODATS)。通过制定标准化的区块链UDAG全栈跨链协议,保证跨链交易的安全性、可扩展性及可靠性,打破区块链数据孤岛,实现同构及异构链之间的可信互通,助力企业之间可信协作,促进产业生态可信融合。
业务逻辑可以在区块链编程层可以实现,通过跨链合约API进行数据调用和合约交互,完成多条区块链的协作,达到区块链的横向应用拓展.跨链数据链接服务架构.利用蚂蚁区块链领先技术实现的跨链数据连接服务,通过制定标准化的区块链UDAG全栈跨链协议,保证跨链交易的安全性、可扩展性及可靠性,打破区块链数据孤岛,实现同构及...
来自: 解决方案
边缘节点服务ENS
阿里云边缘节点服务(Edge Node Service, 简称ENS)基于运营商边缘节点和网络构建,一站式提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本。
边缘节点服务提供CDN边缘节点的就近接入和节点间互联互通,实现低延时、高稳定的音视频通信链路.边缘与边缘、边缘与中心智能选路,提升传输可靠性.解决地域分布广泛、网络质量不稳定带来的体验和延时问题.新业务敏捷启动,有效应对业务洪峰.云服务器 ECS.推荐搭配使用.稳定流畅的师生互动方案.政府、行业、商业等多类场景...
来自: 云产品
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化<em>平台</em>
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
兼容POSIX文件接口,可支持数千计算节点共享访问,可 以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计 算BCS、高性能计算EHPC,AI训练PAI等计算业务上提供高性能的共享存储,用户无需修改应用程序,即可无缝迁移业务系统上云。更多信息,请参见 https://www.aliyun.com/product/nas。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台,提供多样的应用发布能力和轻量级微服务解决方案,帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题,完全兼容Dubbo和Spring Cloud,助您轻松转型企业级互联网架构。
0代码侵入就能完成 Dubbo 和 Spring Cloud 应用上云,有效降低运维成本,支持多种高级特性,助力您在云上轻松构建微服务应用全生命周期管理和监控的一站式PaaS平台/aPaaS平台.借助阿里久经考验的微服务框架 HSF 在云上构建微服务应用.基于成熟微服务框架快速构建应用.无需构建 ZooKeeper,Eureka,Consul 等微服务依赖的自...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
人脸人体视觉智能开放平台提供普惠的视觉API服务,广泛应用于数字营销、互联网娱乐泛金融身份认证等场景。图像搜索免费试用以深度学习和机器视觉技术为核心,帮助用户在自建图库中实现相同或相似图片搜索的以图搜图服务。视觉计算服务弹性可伸缩的视觉智能计算服务,提供视觉数据接入、AI 算法训练、计算资源调度的能力。...
来自: 云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库,致力于为客户提供极致性能、简单易用的数据分析服务。...
来自: 云产品
云服务总线CSB
云服务总线CSB是一个基于高可用分布式技术构建的服务API开放平台,帮助企业打通内外新旧系统,实现跨技术平台、跨应用系统、跨企业组织的服务互通,以服务API的形式,加以一致的组织和管控,构建企业内部以及与上下游、第三方企业之间融合、重塑、创新的合作平台。
提供统一的服务开放管理,可以适配多种常见服务协议,支持跨环境服务互通,主要用于专有云、混合云.开放平台(CSB Open Platform).云服务总线CSB公共云服务下线通知.云服务总线CSB公共云服务下线通知.<查看全部产品.云服务总线(Cloud Service Bus,简称CSB)提供平台化的服务开放能力,帮助企业打通整合内外新旧业务系统,...
来自: 云产品
高性能计算存储解决方案
基于阿里云强大的存储产品能力,助力AI、基因、自动驾驶、天文和能源等行业打造高性能计算平台。
弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站式公共云 HPC/AI 平台服务,面向科研,生产,教育和行业大计算,提供快捷,弹性,安全和与阿里云产品互通的云超算平台.弹性高性能计算 E-HPC.海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置...
来自: 解决方案
弹性高性能计算E-HPC
弹性高性能计算(E-HPC)基于阿里云基础设施,拥有公有云、专有云等多种产品形态,为用户提供一站式HPC/HPDA平台服务,面向科研、生产、教育和行业大计算,提供快捷,弹性,安全的服务和拥有与阿里云产品互通的高性能计算服务平台。
弹性高性能计算(E-HPC)基于阿里云基础设施,第三代英特尔® 至强® 可扩展处理器以及英特尔® oneAPI工具套件,拥有公有云、专有云等多种产品形态,为用户提供一站式HPC/HPDA平台服务,面向科研、生产、教育和行业大计算,提供快捷,弹性,安全的服务和拥有与阿里云产品互通的高性能计算服务平台.弹性高性能计算 E-HPC....
来自: 云产品
< 1 2 3 4 ... 18 >
共有18页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用