基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC,可以快速高效的搭建数据处理链路,用户只需要 关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函 产品列表 计算 FC也支持多种下游,OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
体验此教程会为您创建的资源架构如下:相关产品云服务器 ECS云数据库 RDS MySQL 方案咨询01准备资源通过一键部署脚本,快速创建一个模拟环境,包含一个运行网站应用和数据库的ECS实例,以及一个迁移目标RDS实例。02迁移数据库这一步骤将引导您使用数据传输服务DTS,将ECS上自建的数据迁移到RDS中。03验证及切换通过这一...
来自: 解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 阿里云安全组 解决问题•实现根据 Kafka 消息的具体内容判断,该对 l 阿里云函数计算(FC)MongoDB 做哪种 DML 操作,并且用户可以自行 扩展函数计算中函数的逻辑,实现自己的业务场 l 阿里云云数据库 MongoDB 景。函数计算具有完善的日志系统、容错机制。可 l 阿里云云消息队列 Kafka 以清晰的看到对每条消息的处理...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
Oracle RAC 12C云上部署
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
01.zip$ORACLE_HOME/oracle.zip#解压缩 unziporacle.zip 切换到图形界面,运行runInstaller脚本 文档版本:20240206 55OracleRAC12C云上部署 取消勾选中选项框 文档版本:20240206 56OracleRAC12C云上部署 确认不提供email 文档版本:20240206 57OracleRAC12C云上部署 选择只安装数据库软件,之后可以通过命令配置 文档...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
大模型RAG对话系统部署
大模型RAG对话系统部署
大模型RAG对话系统最佳实践,旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术,从而显著提升对话系统的性能,使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践,您可以掌握构建一个大模型RAG对话系统的完整开发链路。
兼容 Greenplum开源 仓库,MPP全并行架构,广泛兼容 PostgreSQL/Oracle的语法生态,新一代向 量引擎性能超越传统数据库引擎 10倍以上,分布式 SQL优化器实现复杂查询语 句免调优。实现了对海量数据的即席查询分析、ETL 处理及可视化探索,是各行 业有竞争力的云上数据仓库解决方案。Hologres是一站式实时数据仓库引擎,...
来自: 最佳实践 | 相关产品:Elasticsearch,机器学习PAI-EAS,机器学习平台,云速搭
系统运维管理 OOS
阿里云系统运维管理(简称OOS)提供的云上自动化运维服务,通过执行模板来完成任务的自动化运行,可以使用OOS管理ECS、RDS、SLB、VPC等云产品,提升日常运维管理效率
立即购买免费试用快捷入口控制台文档APISDK产品定价产品动态内容甄选最新功能批量在托管实例中执行命令2023.08.01最新功能补丁管理支持在补丁基线中设置批准补丁和指定补丁源2023.07.01最新功能YAML/JSON模板编辑器支持提示编排API的参数2023.06.01常用功能通过OOS实现自动定时开关机2024.01.01常见功能使用Ansible创建OOS...
来自: 云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
产品功能个人高级专业数据分析仪表板支持支持支持即席分析不支持不支持支持模板市场支持查看所有模块支持查看所有模块,应用已购模块支持查看及应用所有模块电子表格不支持单独购买支持数据大屏不支持单独购买赠送基础容量,可按需增购数据应用企业门户不支持支持支持订阅推送(邮件)不支持支持支持自助取不支持...
来自: 云产品
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
NoSQL数据库数据库 Redis 版免费试用全托管、兼容Redis协议的内存数据库,包含Redis社区和Tair(又称为Redis 企业)。云原生内存数据库 Tair阿里云自研数据库,兼容 Redis 的同时提供更多数据结构和企业级能力,包括全球多活、任意时间点恢复和透明加密等。云原生多模数据库 Lindorm具备海量宽表数据和时序数据等多模...
来自: 云产品
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
立即购买免费试用快捷入口控制台文档APISDK产品定价常用工具05:03快速了解对象存储 OSS产品动态内容甄选新功能OSS 设置 TLS 版本功能发布2023.09.19新功能OSS 归档直读发布2023.06.30新功能OSS Bucket 存储冗余类型转换发布2023.06.28精选特惠"存"享优惠,新老用户同享2023.11.01最新活动Stable Diffusion 模型,AIGC ...
来自: 云产品
视频直播
阿里云视频直播服务(ApsaraVideo Live)是基于领先的内容接入与分发网络和大规模分布式实时流媒体转码技术打造的直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频云高清直播直播服务。
立即购买免费试用快捷入口控制台文档APISDK价格计算器产品定价03:14视频直播介绍产品动态内容甄选新场景直播间低代码开发2023.11.10功能升级视频直播GA全球加速产品化2023.10.10新功能视频直播支持远程鉴权自助配置2023.11.20解决方案低代码电商直播间搭建2023.10.01技术前沿一文详述流媒体传输网络MediaUni2023.08.08产品...
来自: 云产品
计算巢服务
阿里云计算巢服务是一个面向ISV、SI、MSP和开发者的云集成PaaS平台,方便服务商更好的将产品、服务集成,借助云原生的能力提升软件服务交付、部署及后续管理。
立即创建数据库服务:TuGraph高性能数据库服务介绍TuGraph(tugraph.org)是蚂蚁集团的高性能图数据库(Graph Database)及图数据管理平台,具有万亿图数据的处理能力,计算性能去取得国际图数据库性能基准测试第一名。产品特点高性能图数据库,支持实时和离线的毫秒级复杂查询,有可视化交互控制台,丰富的API接口等。立即...
来自: 云产品
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
配置项 说明 地域 华北 2(北京)数据库类型 MySQL 版本 5.6 系列 高可用 可用区 多可用区(可用区 C+可用区 E)网络类型 专有网络 选择已创建的 BEI_VPC(10.0.0.0/8)和交换机 BEI_SW_C(10.0.30.0/24)文档版本:20220121 40 游戏业务分区合服最佳实践 初始环境搭建 规格 2核 4G 存储空间 150 GB 数量 1 购买完成后,可在...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
Oracle数据库与应用迁移PolarDB
Oracle<em>数据库</em>与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库(Oracle兼容 版)。通过ADAM将Oracle数据库迁移到 PolarDB数据库,可以降低应用升级、运 维成本,同时提升系统弹性,实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云, 通过ADAM评估迁移工具,降低迁移 风险,提高迁移效率。 2.使用PolarDB(Oracle兼容版)数据 库,提升数据库并发读能力,降低运维 成本。 产品列表 数据库和应用迁移(ADAM) PolarDB(Oracle兼容版) 云服务器(ECS) 专有网络(VPC)
方案优势 将 Oracle数据库迁移到阿里云 PolarDB数据库降低运维成本,方便扩展,满足 文档版本:20220210 1 Oracle数据库与应用迁移 PolarDB 最佳实践概述 据库弹性需求。迁移过程中采用 ADAM评估分析工具,在迁移前就对数据和应用改造的工作量和 风险完全掌握,便于决策并有效降低实施风险。迁移过程中通过专业工具,自动...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库PolarDB,数据库和应用迁移 ADAM,云速搭
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
步骤3 云安全中心给客户免费使用基础,功能有限,如下可以看到当前的版本。步骤4 升级版本到企业,通过此页面也可以看到基础、高级、企业的功能对比。文档版本:20200630 22 混合云多云统一安全 服务器安全统一管理 4.2.它云服务器上手工安装 agent 创建公网 IP 此处创建公网 IP,是为了手工在它云或 IDC服务器...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的,基于云原生架构的内存数据库,兼容Redis API,支持内存、持久内存、ESSD三种存储介质,并提供大量扩展型数据结构及企业级能力。
图数据库GDB,支持 原生OpenCypher、Gremlin等查询语言。提供开箱即用的快读弹性,低成本的云原生图服务.单副本架构适用于纯缓存场景,支持单节点集群弹性变配,满足高QPS场景,性价比高.双机热备架构.系统工作时主节点(Master)和备节点(Slave)数据实时同步,主节点故障时系统自动秒级切换,备节点接管业务,全程自动...
来自: 云产品
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
步骤2 选择新建>官方模版新建 进入接官方模板。步骤3 通过搜索找到“Exchange_on_Aliyun”模版,选择基于应用新建。步骤4 在架构编辑界面,根据架构部署提示,双击 ECS实例,设置其登录密码。文档版本:20220119 6 Exchange Server云上部署最佳实践 资源环境部署 步骤5 点击保存,设定应用名称后点击确认。步骤6 应用...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
云原生数据库PolarDB 分布式
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
通过PolarDB 分布式垂直拆分剥离各业务中心,使不同类型的业务数据可以存储在不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性.PolarDB 分布式的平滑扩容和弹性升降配能力,可实现短时间内将业务系统的计算和存储容量弹升至当前容量的倍,从容、快速应对突发业务流量.历经各界双十一峰值流量...
来自: 云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
数据库RDS SQL Server .高可靠双机热备架构及可无缝扩展的集群架构,满足高读写性能场景及容量需弹性变配的业务需求.云数据库 Redis .云数据库MongoDB支持ReplicaSet和Sharding两种部署架构,具备安全审计,时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用.云数据库 MongoDB.PolarDB是...
来自: 云产品
自建K8S集群迁移ACK弹性裸金属集群
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后,企业在享受K8S带来应 用管理的便利的同时,存在硬件性能不足,本 地扩展性差,容器容灾难,K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性:如何通过弹性裸金属服务 器的强劲硬件性能,实现云端资源急速扩 展,从容应对应用访问压力大的问题。 2.如何简化云端K8S运维:通过阿里云容器服 务(ACK)实现敏捷开发和部署落地,加速 企业业务迭代。 3.如何综合考虑迁移和容灾:如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云:如何实现应用上云数据 库连接零修改。 5.数据库上云及回退:如何实现上云回退; 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
创建,完全由用户管 Worker,简单、低 和 Worker 理 成本,Master运 维 免费(用户承担 免费(用户承担 收费 按容器实例的使用资源 Master和 Worker的 Worker 的资源 方式 量和时长(秒)计费 资源费用)用)典型 批量任务,突发扩容,所有场景 所有场景 场景 CI/CD测试 容器服务:容器服务提供高性能可伸缩的容器应用...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,NAT网关,弹性裸金属服务器(神龙),云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用