基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 数据库版本:MongoDB 7.0(也可以根据实际需求选择其他版本)l 节点数:三节点。(除此外还提供 5 节点,7 节点)l 只读节点:无只读节点。l 存储引擎:WiredTriger l 存储类型:ESSD PL1 云盘(除此以外,还提供 PL2,PL3,AutoPL 的类型)l 加密类型:不加密 l 规格类别:独享规格 l 规格:4 核 8GB(独享型)(可以...
来自: 最佳实践 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
A:您可以开通独享代理服务并为主实例增加只读节点,无需修改应用代码,通过独享代理自动将只读请求转发至主实例关联的只读实例节点,实现性能扩展。查看详情Q:RDS MySQL 支持 SQL 日志或操作日志审计吗?A:RDS MySQL 高可用版或集群版支持 SQL 洞察和审计功能,在全量请求和安全审计的基础上,融合了搜索、SQL 洞察、...
来自: 云产品
数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License,支持复杂的SQL查询,性能优秀,对基于Windows平台.NET架构的应用程序具有完美的支持,广泛应用于新零售、医疗、房地产等行业。
数据库RDS SQL Server 版企业集群版Alwayson架构,支持一写多模式,可支持弹性添加多个只读节点,分摊性能压力;内置数据库自治服务节约50%数据库运维成本,将更多精力集中在SQL上线把关和业务查询逻辑优化等.某房地产公司.客户将业务顺利搬迁上云,大幅降低成本。SQL Server支持在线升配,更强的弹性助力客户轻松...
来自: 云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,支持分布式扩展,高度兼容Oracle语法。
同时多个计算节点共享存储,新增只读节点需支付计算节点费用,大大降低扩容成本。存储空间无需手动配置,根据数据量自动伸缩,需为实际使用的容量付费.单机故障,可实现主备切换0数据丢失,彻底解决异步复制带来的主备节点数据非强一致问题,几分钟内即可扩展只读副本,备份和恢复数据。支持多样化的部署和容灾能力,...
来自: 云产品
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库,100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍,TCO低于自建数据库50%。
海量存储,支持上百TB级别数据.PolarDB采用计算和存储分离架构,支持数据库服务器的CPU、内存能够快速扩容,最快可增加15个只读节点,支持并行查询、读写分离等功能,使查询耗时指数级下降,解决计算量较大的查询、多表连接查询、日常报表查询等轻分析类业务需求.PolarDB MySQL 8.0重磅推出并行查询框架,在存储层将数据分...
来自: 云产品
云原生数据库 PolarDB PostgreSQL 版
阿里云自研数据库 PolarDB PostgreSQL,100%兼容 PostgreSQL,高度兼容 Oracle。
数据库和应用迁移ADAM数据库评估、在线数据库改造及应用评估等云上功能全部免费,提供包括数据库与应用评估(兼容性、关联关系、性能、风险、应用改造)、转换建议(转换不兼容、引擎特征优化转换)和应用评估等.数据库专家服务.以工具与数据库专业技能结合的方式,助力客户快速低成本实现Oracle功能,覆盖迁移的全...
来自: 云产品
数据库GDB
图数据库(Graph Database, 简称GDB)是阿里云自主研发的图数据库产品,经历阿里巴巴集团内丰富的应用场景打磨,具备行业最佳实践经验。是基于图技术的行业多元异构数据的融合、分析、决策引擎,是知识图谱的最佳底座。
数据库(Graph Database,简称GDB)是阿里云自主研发、自主可控的图数据库产品,经历阿里巴巴集团内丰富的应用场景打磨,具备行业最佳实践经验。是基于图技术的行业多元异构数据的融合、分析、决策引擎,是知识图谱的最佳底座.唯一入围Forrester Wave的国产图数据库.查看更多商品.查看全部日志.标准图查询语言.支持属性图...
来自: 云产品
数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构,能够满足不同的业务场景需要。
副本集架构通过部署多种节点来达到高可用的效果,每个副本集实例包含一个Primary节点(主节点),一个或多个Secondary节点(从节点)、一个Hidden节点(隐藏节点)以及可选的一个或多个ReadOnly节点(只读节点)。当Primary节点出现故障,系统自动从Secondary节点中选举出新的主节点;当Secondary节点不可用,由Hidden节点...
来自: 云产品
游戏行业多场景云数据库解决方案
阿里云的游戏行业数据库解决方案通过使用云数据库的产品组合,应对游戏行业多种细分场景,充分利用阿里云数据库高性能、低成本、高可用、易维护的优势,帮助游戏客户适应当前和未来业务发展的需要。
重大版本上线或有重要活动,推广效果超预期时,会有大量老玩家回归.PolarDB新增只读节点最多需5min,节点变配最多需15min.业务压力超载时可进行快速升配保证游戏平稳运行.业务压力下降时可进行快速降配,实现高性价比数据库架构.玩家访问压力应对.玩家访问压力应对方案.分区分服游戏进入平稳期后,需定期进行合服。对应...
来自: 解决方案
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案,MySQL数据库成为近十年来数据库使用范围最广,数据库生态最好的开源数据库,本方案以MySQL数据库上云的各种场景为切入点,包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
基于PolarDB的高弹性数据库解决方案,给企业客户提供分钟级弹性能力、百TB存储能力、读写分离读节点延迟低等核心能力,助力有大促属性的客户轻松应对业务高峰.MySQL数据库高弹性、大促场景.ADB一键建仓.基于分析型数据库MySQL版构建的OLAP数据库解决方案,给企业提供PB级实时数据仓库能力,可以毫秒级针对万亿级数据进行...
来自: 解决方案
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
自主研发,兼容数据库完整生态工具,兼容MySQL的Binlog格式,支持MySQL配置主备同步,打通大数据生态,兼容开源分分表工具并支持基于实例维度的多节点批量白屏操作,比如DDL、扩缩容等.基于存储计算分离架构,资源池化高效管理,实现分钟级弹性变配.采用云原生架构,提供多项企业级能力.支持VPC、IP白名单、非对称账号...
来自: 云产品
RDS MySQL迁移至PolarDB MySQL版
RDS MySQL的数据可在线实时同步到PolarDB MySQL版,并且升级切换后的PolarDB集群包含源RDS实例的账号信息、数据库、IP白名单和必要的参数。
PolarDB 采用存储和分离架构,单实例最高100 TB 存储,节点支持纵向扩展(升/降配节点)和横向扩展(增/减只读节点),快速应对业务增长。提供高读写性能,支持业务全球化部署游戏场景下需经常进行开服合服操作,业务峰值时可能需要支撑百万级玩家同时在线的高并发压力,更可能需要确保业务的增长进行海外部署。PolarDB ...
来自: 解决方案
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
场景三:弹性伸缩 步骤1 通过 CADT访问 PolarDB控制台 点击资源部署状态表的链接:步骤2 水平弹性扩展 从控制台可以看到,PolarDB包含一个主节点和一个只读节点:文档版本:20210120 20 在线教育流量洪峰最佳实践 主数据库大流量方案 步骤3 选择增加节点来增加一个节点,并单击确定。文档版本:20210120 21 在线教育流量...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
云速搭部署MongoDB应用
云速搭部署MongoDB应用
通过云速搭实现一个云数据库MongoDB版的产品实例
配置项 参数说明 实例名 mongodb-test 支付方式 按量付费 数据库版本 4.2 存储引擎 WiredTiger 只读节点只读节点 节点数 三节点 实例规格 dds.mongo.2xlarge 存储空间 20(G)支付方式 按量付费 设置密码(大写、小写、数字、特殊字符占三种,长度为 8-32位)文档版本:20211206 9 云速搭部署MongoDB应用 CADT设计部署...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库 MongoDB版
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
基于资源类型划分 比如将所有的 RDS数据库资源归属到一个资源组,给 DBA分配权限。b.基于项目维度划分 比如将 A项目涉及到的 ECS,RDS,SLB等资源归属到一个资源组,给 A项 目组的成员分配权限。c.基于地域维度划分 比如公司有杭州和北京 2个云上数据中心,将相同 region下的资源归属到同一 个资源组,分配不同的运维负责...
来自: 最佳实践 | 相关产品:资源管理
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
除了 Navigator能够集成的那些数据源之外,Atlas还支持 NiFi和 Kafka元 。业务术语表:Atlas提供了一个 Web界面,用于创建和管理业务术语表,这些术 语可以帮助组织通过标准化来识别和使用数据。Data Profiling:“Data Catalog”提供自动数据标记功能,用于列出常见的数据类 型,也允许用户通过正则表达式标记其他数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
跨云迁移单写双过渡架构
跨云迁移单写双<em>读</em>过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
客户在做应用改造时需找 到应用里面所有操作,使用本地数据库进行(可以在 RDS里面进行读写分离,使 用只读地址)。步骤4 启动后端服务。步骤5 使用北京地域的公网 IP/register测试写入数据库成功(即写源成功)。步骤6 使用北京地域的公网 IP/search测试读本地域数据库成功(即目标成功)。在日志 里面也可以...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 ...通常可以预估 1到 2 年的数据增长量,用估算出的总数据量除以总的物理分数,再除以建议的最大 量 500万,即可得出每个物理分上需要创建的物理分表数:物理分上的物理分表数=向上取整(估算的总数据量/(RDS 实例数*8)/5,000,000)详细拆分 DEMO 可参考官网文 档:...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用