基于函数计算FC实现阿里云Kafka消息轻量ETL处理
基于函数计算FC实现阿里云Kafka消息轻量<em>级</em>ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
文档编号 文档版本 版本日期 2024-04-08 文档状态 外部发布 制作 尘辉 审阅 嘉辽 变更记录 版本编号 日期 作者 审阅 说明 V1.0 2024-04-08 尘辉 嘉辽 初始版本 V1.1 2024-04-08 尘辉 嘉辽 优化版本 V1.2 2024-04-26 尘辉 吉宪,世振 优化版本 文档版本:20240408 I 基于函数计算 FC实现阿里云 Kafka消息轻量 ...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现企业权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业<em>级</em>权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
一键释放资源.61 文档版本:20240330 III基于函数计算FC实现企业权限精准控制Kafka跨实例消息同步 最佳实践概述 最佳实践概述 方案概述 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka,可能是自建 Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提 下Kafka...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
SAE 让您免运维IaaS和K8s,秒完成从 代码/代码包/Docker 镜像部署任何语言的在线应用(如Web/微服务/Job任 务)到SAE,并自动伸缩实例按使用量计费,箱即用日志、监控、负载均衡 等配套能力。 ARMS应用监控:是一款应用性能管理(,简称APM)产品。您无需修改代码,只需为应用安装一个探针,ARMS就能够 对应用进行...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于SpringCloud应用玩转MSE实践
基于SpringCloud应用玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
MQ 产品生态丰富,多 个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持,覆盖金融保险、(新)零售、物联网、移动互联网、教育、物流、能源、交通等行业。 弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私网负载均衡SLB绑定,并可以动态解绑满足灵活管理...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
Serverless版 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于云速搭 CADT快速部署药物筛选批量计算环境-Serverless版 文档编号 354 文档版本 v1.1 版本日期 2024-02-04 文档状态 外部发布 制作 厉博 审阅 石益,潇凡,瑜姝,游圣 文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2024-01-22 厉博 石益,...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
开源Flink迁移实时计算Flink全托管版最佳实践
<em>开源</em>Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务(包含Datastream、Table/SQL、PyFlink任务)迁移至阿里云实时计算全托管版。
属性 内容 文档名称 开源 Flink迁移实时计算 Flink全托管版最佳实践 文档编号 285 文档版本 V1.0 版本日期 2021-12-22 文档状态 外部发布 制作 弦望、七凌 审阅 文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2021-12-22 纯庚、弦望、七凌 创建 文档版本:20211222 I 开源 Flink迁移实时计算Flink全托管版 前言 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,E-MapReduce,实时计算,消息队列 Kafka 版,云速搭CADT
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
业务安全实人认证免费试用实人认证(ID Verification)是精准可靠的远程身份认证服务。通过业内领先的生物识别技术,验证用户为真人且为本人,为客户提供安全便捷的数字身份识别解决方案。风险识别风险识别(Fraud Detection)是“一站式”业务风险管理服务,帮助客户快速解决注册、登录、营销活动的关键业务环节遇到的黑...
来自: 云产品
容器跨可用区高可用
容器跨可用区高可用
场景描述 本实践适合使用容器服务ACK结合阿里云上的 其他产品构建跨可用区高可用应用的场景。在一 开始创建容器服务ACK的时候就把容器集群建 成多个可用区的架构,某可用区挂掉后,不影响 应用和集群的高可用。容器服务ACK通常配合 高可用SLB,RDS,Redis等产品,实现跨可用 区高可用。 解决问题 1.利用容器服务ACK搭建跨可用区高可用 的应用 2.容器服务ACK结合SLB,RDS,REDIS构 建高可用应用 产品列表 容器服务ACK RDSforMysql版 云数据库Redis版 文件存储NAS
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证。阿里云账户余额大于 100 元。您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下阿里云服务...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,文件存储NAS,容器服务 ACK,云数据库 Redis 版,云速搭CADT
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览 页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。原始数据库系统为 ORACLE ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
基于弹性计算的AI推理
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看当前账号是否 已经完成实名认证。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余 额。阿里云账号下...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
说明:您可以登录阿里云控制台,并前往实人认证页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实名 认证。阿里云账户余额大于 100元。说明:您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
内部发布 制作 连辙、明中、七凌 审阅-文档变更记录 版本编号 日期 作者 审核 说明 V1.0 2019-07-30 连辙、明中-创建 V1.1 2019-08-01 连辙-修改描述 V1.2 2019-08-22 筱晖-文档优化 V1.3 2019-09-09 明中、谦昀 行夜,毕役 修改和发布 V1.4 2020-03-10 明中 优化表述方式 V2.0 2022-01-21 七凌 CADT迭代 文档版本:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
微服务引擎的线上流量治理
微服务引擎的线上流量治理
随着业务不断创新,微服务架构及数字化转型不断落地,在这个过程中,大量企业采用了开源的组件构建了微服务,比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代过程中保障线上流量不受损? 开源产品无运维工具,常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架,实现业务零改造,解决开源框架在生产落地过程中的痛点,例如无损上下线、标签路由等,并通过托管微服务开源组件(API网关、注册中心、配置中心等)的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助企业释放业务无关的运维成本,聚焦业务本身的运维和发展。 方案优势 快速集成:通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维:托管微服务依赖开源中间件的服务,提供白屏化监控告警、容灾、宕机重启、扩缩容等能力,帮助我们客户释放业务无关的运维成本,聚焦自身业务本身的运维和发展。 开源增强:提供开源框架在生产落地过程中的痛点,例如应用无损上下线/金丝雀发布/南北+东西流量打通等,帮助客户的业务提高自身SLA和降低自研成本。
微服务引擎的线上流量治理 最佳实践 业务架构 背景描述 随着业务不断创新,微服务架构及数字化转型不 断落地,在这个过程中,大量企业采用了开源的 组件构建了微服务,比如有开源微服务全家桶之 称的 Spring Cloud体系或 Apache Dubbo等,微服务的好处之一,在于快速迭代,如何在迭代 过程中保障线上流量不受损?开源产品无...
来自: 最佳实践 | 相关产品:容器服务 ACK,微服务引擎,云速搭CADT
大数据系统基准性能测试最佳实践
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景,包括 Teragen和Terasort测试,TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群,并提供了Teragen和Terasort测试,TestDFSIO测试的测试脚本,便于迅速开展测试。
您可以登录阿里云控制台,并前往实人认证页 面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证。阿里云账户余额大于 100元。您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下阿里云服务...
来自: 最佳实践 | 相关产品:专有网络 VPC,E-MapReduce,云速搭CADT
轻量GPU部署云游戏最佳实践
轻量<em>级</em>GPU部署云游戏最佳实践
随着AI深度学习,视频处理,科学计算以及图形可视化等应用场景的普及,GPU的市场需求越来越大,但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限,可以提供比单颗物理GPU更细粒度的服务,从而让客户以更低成本、更高弹性开展业务。
更新 章节失效的组件链接 文档版本:20220211 I 轻量 GPU部署云游戏 前言 前言 概述 本方案演示基于阿里云轻量 GPU服务器部署开源云游戏框架 gaminganywhere,真 运行一款云游戏,并使用客户端体验云游戏。应用范围 适用于选型云游戏的厂商 名词解释 VPC:Virtual Private Cloud,简称 VPC。基于阿里云创建的自定义...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
您可以登录阿里云控制台,并前往实人认证 页面(https://account.console.aliyun.com/v2/#/authc/home),查看是否已经完成实 名认证。阿里云账户余额大于 100 元。您可以登录阿里云控制台,并前往账户总览页面(https://expense.console.aliyun.com/#/account/home),查看当前账户余额。阿里云账号下已开通以下阿里云服务...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
互联网、电商Elasticsearch搜索
互联网、电商Elasticsearch搜索
场景描述 每一个生活在互联网中的用户,每天都在经 历各种各样的“搜索”,查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库,Elasticsearch只需要几毫秒的 时间,即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性,能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
20220121 文档版本:20150122(发布日期)I 互联网、电商 Elasticsearch搜索最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 互联网、电商 Elasticsearch搜索最佳实践 文档编号 071 文档版本 V1.4 版本日期 2022-01-21 文档状态 外部发布 制作 弦望、衾影 审阅-文档变更记录 版本编号 日期 作者 审核...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,DataWorks,Elasticsearch
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用