基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
数据库中的数据,可通过数据传输服务 DTS被实时数据同步到消息 队列 Kafka中。3.数据加工:消息队列收到的原始数据,往往存在格式不齐或内容不全,需要经过 清洗(ETL)之后,才能更好的被下游业务使用。而整个 ETL过程,是实时数 仓架构设计上非常重要的一环,该环节要做到延时小,成本低,可扩展性好,业务 指标计算...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基于 Elasticsearch的订单检索加速最佳实践 业务架构 场景描述 随着企业信息化程度越来越高,核心业 务数据存储传统关系型数据库中不可避 免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊 查询(建立普通索引完全不起作用)。虽然 数据库自身不断完善,但效果有限且没办 灵活扩展,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
数据库GDB
图数据库(Graph Database, 简称GDB)是阿里云自主研发的图数据库产品,经历阿里巴巴集团内丰富的应用场景打磨,具备行业最佳实践经验。是基于图技术的行业多元异构数据的融合、分析、决策引擎,是知识图谱的最佳底座。
基于图的推荐算法是当前推荐系统中的一种重要的技术方向,兼顾了推荐精度的同时,还能让模型具备较好的可解释性。通过图的共性关系发现和分析方法,通过计算共同邻居进行相似节点推荐。适用于电商、保险的商品推荐场景.能够兼容市面绝大多数开源图查询产品,降低开发门槛.支持标准图查询语言.即时处理海量数据,分析...
来自: 云产品
数据库安全解决方案
通过云数据库原生安全能力,数据管理DMS和数据备份DBS,构建云上三位一体的完整数据库安全解决方案
向企业客户提供云数据库、ECS自建和IDC自建数据库数据库备份能力和方案,支持MySQL、Oracle、SQL Server、MongoDB、Redis、PostgreSQL等多种数据库类型,具备备份压缩、加密、备份数据查询和单表恢复等高级特性.数据备份DBS安全能力.购买云数据库.根据自身技术栈,选购合适数据库,创建账号与逻辑.DTS迁移数据上云...
来自: 解决方案
云速搭部署云数据库专属集群Mybase
云速搭部署云<em>数据库</em>专属集群Mybase
通过云速搭设计一个Mybase专属集群部署架构包含AliSQL及Tair
MyBase不仅能保 障客户独享云资源更加安全、享受到云数据库服务的便捷灵活,同时还满足企业 对 合 规 性、安 全 性 和 高 性 能 的 要 求。详见:https://www.aliyun.com/product/apsaradb/cddc 文档版本:20220207 3 云速搭部署云数据库专属集群Mybase 云速搭架构设计入门 云速搭架构设计入门 方案架构 通过云速搭...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库专属集群MyBase,云速搭CADT
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase构建自主可控<em>数据库</em>和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
数据库专属集群为 客户独享云资源更加安全,用户既享受到云数据库服务的便捷灵活,又满足企业 对 合 规 性、安 全 性 和 高 性 能 的 要 求。详见:https://www.aliyun.com/product/apsaradb/cddc 堡垒机:集中管理资产权限,全程记录操作数据,实时还原运维场景,助力企业 户构建云上统一、安全、高效运维...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
混合云数据库统一管理
混合云<em>数据库</em>统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
其中杭州部署 MySQL数据库数据库网关,上海部署 PgSQL 据库。注意:上述模板“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定,部署完 数据库软件后,可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源,单击下一步,直到完成资源部署。文档版本:20201224(发布日期)8 混合云...
来自: 最佳实践 | 相关产品:数据传输,数据管理
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建<em>数据库</em>
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
扩展性 除了支持备份阿里云数据库,DBS还支持将 ECS自建数据库、本地机房 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库,DBS还支持恢复到其他环境,如本地数据库通 过 DBS备份,恢复到阿里云数据库上。文档版本:20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 进行本文操作之前,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
云原生内存数据库Tair
云原生内存数据库Tair是阿里云推出的,基于云原生架构的内存数据库,兼容Redis API,支持内存、持久内存、ESSD三种存储介质,并提供大量扩展型数据结构及企业级能力。
2020年底,图引擎作为国内唯一入选的图数据库产品,进入国际权威市场调研机构Forrester发布的图数据平台分析报告,并高可用和灾难恢复评测项目,取得了最高的成绩.基于高性能存储的原生图引擎.查看Tair产品详情.了解Tair购买事宜.快速使用Tair产品.Tair常见答疑.SQL Server是发行最早的商用数据库产品之一,支持复杂的...
来自: 云产品
数据库OceanBase
云数据库 OceanBase 版是构建在阿里云基础设施上的公有云数据库服务,基于完全自主研发的原生分布式数据库。通过多租户、高压缩存储、多级弹性伸缩、HTAP等能力,在保障数据库高性能的同时,显著降低数据库成本。同时在云上集成了评估、迁移、监控、诊断、备份恢复、运维优化等工具,让数据库管理与运维更简单。
OceanBase里,一张表格被拆分成为很多小分区(partition),并且按照一定策略分布到多台节点存储,任何一个事务均被当成分布式事务来执行,并通过全局时间戳保证一个OceanBase集群内的分布式事务满足ACID以及事务隔离级别的要求.OceanBase支持分区内的局部索引以及全局索引,局部索引有更小的维护代价以及更高的执行效率...
来自: 云产品
数据库RDS MySQL版备份恢复
云<em>数据库</em>RDS MySQL版备份恢复
场景描述 用户数据库数据, 部分需要快速、 小颗粒度恢复、 部分需要异地备份、部分需求长期归档。 当前自建 MySQL 上建立完善的备份/恢复系统无法完美满足用户需求, 且建设/维护成本很高。 RDS 的完善的备份/恢复方案可以有效帮助到用户。 方案优势 1. 可以方便实现本地备份及库表级别快速恢复, 快速应对误操作误删除等逻辑错误, 降低业务损失。 2. 可以方便实现异地备份, 实现数据级容灾, 满足合规要求。 3. 可以方便将数据进行归档, 实现长期数据的高性价比保存方案。 4. 有效提升用户数据备份效率, 降低维护工作量。 解决问题 1. 自建数据库发生误操作时恢复复杂 2. 部分数据发生错误进行恢复时可能影响其他数据访问 3. 异地备份操作复杂 4. 长期数据保存成本较高 5. 备份恢复系统维护所需人力成本较高
备份默认开启且无法关闭,您可以根据需要设置数据备份的周期、时间及保留天数。需要恢复数据,比如需要使用真实数据进行业务测试时,可以使用数据备份恢复出 一个新的数据库实例来满足需求,同时避免污染线上数据库。2.1.备份设置 步骤1 实例页面左侧导航栏选择备份恢复,备份设置单击数据备份设置右边的编辑。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,访问控制
数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
小打卡用户每天在数十万的兴趣圈子活跃,发布数百万条打卡日记,PolarDB 分布式版的分分表场景很好地解决了客户需求,降低了响应时间,提高了并发查询能力,利用异构索引表满足了客户多维度查询的需求,最近的全局二级索引解决了异构索引表数据延迟的问题.通过PolarDB+数据传输服务+AnalyticDB MySQL组成HTAP解决方案,...
来自: 云产品
云原生数据库PolarDB 分布式版
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
依托云资源和容器化部署能力,PolarDB 分布式版可在数分钟内完成集群创建和变配;支持按量付费模式,帮助用户精准降本.云原生+MySQL生态.PolarDB 分布式版采用了基于存储计算分离的Shared-Nothing系统架构,该架构使用户可以根据业务需要进行分层容量规划.存储计算分离架构.让用户以使用单机MySQL数据库的体验,操作分布式...
来自: 云产品
云原生数据库PolarDB MySQL版
PolarDB MySQL版是自研的云原生关系型数据库,100%兼容MySQL。多主多写、多活容灾、HTAP、交易和分析性能最高分别是开源数据库的6倍和400倍,TCO低于自建数据库50%。
多可区架构,多个可用区内都有数据备份,为数据库提供容灾和备份。通过GDN全球数据库网络功能实现数据的异地灾备,跨地域实例可同时读写,且业务无需修改代码,即可直接从同城部署扩展到异地部署.高可用和全球数据库网络.采用白名单、VPC网络、数据多副本存储等全方位的手段,对数据库数据访问、存储、管理等各个环节...
来自: 云产品
MySQL数据库上云选型解决方案
MySQL数据库上云选型解决方案,MySQL数据库成为近十年来数据库使用范围最广,数据库生态最好的开源数据库,本方案以MySQL数据库上云的各种场景为切入点,包括数据库的扩展性、数据库水平拆分、数据库垂直拆分、高弹性数据库、数据库大促支持、MySQL数据库海量数据分析等向上云的企业客户介绍如何选择适合企业的MySQL生态数据库。
通过阅读本方案客户可以深入理解不同MySQL生态数据库产品以及对应方案的优势,以便更好的适配自己当前的业务诉求.MySQL数据库平滑上云.MySQL数据库高并发读写.MySQL数据库高弹性、大促、海量存储.MySQL数据库亿级以上数据复杂查询.MySQL数据库垂直拆分访问.MySQL数据库业务扩展.适用业务场景.覆盖面广,适合MySQL生态数据库...
来自: 解决方案
数据库审计
阿里云数据库审计专业提供智能解析数据库通信流量,细粒度审计数据库访问行为,通过对数据库全量行为的审计溯源、危险攻击的实时告警、风险语句的智能预警,为您最敏感的数据库资产做好最安全的监控保障。
《个人信息保护》是一部保护个人信息的法律条款,现尚制订。对个人及行业有着很大的作用.《个人信息保护》进入二审环节.数据安全实报速递.主打及热门产品规格.细粒度行为审计追溯的能力,可审计用户终端信息、使用工具、数据库信息、返回结果等详细信息,全场景还原用户行为轨迹,有效追踪溯源数据库的访问行为.细...
来自: 云产品
云原生数据库
PolarDB是阿里云自研的云原生数据库,在存储计算分离架构下,利用了软硬件结合的优势,为用户提供秒级弹性、高性能、海量存储、安全可靠的数据库服务。100%兼容MySQL和PostgreSQL生态,支持分布式扩展,高度兼容Oracle语法。
通过PolarDB 分布式版垂直拆分剥离各业务中心,使不同类型的业务数据可以存储不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性.PolarDB 分布式版的平滑扩容和弹性升降配能力,可实现短时间内将业务系统的计算和存储容量弹升至当前容量的倍,从容、快速应对突发业务流量.历经各界双十一峰值流量...
来自: 云产品
企业级分布式数据库解决方案
企业级分布式数据库解决方案挂载管理多个云数据库 RDS for MySQL,可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案。
了解详情>.PolarDB-X产品解决了我们社交场景中的圈子日记查询功能,每天用户小打卡十万的兴趣圈子中活跃,发布百万条打卡日记,非常适合PolarDB-X的分分表场景,降低了响应时间,提高了并发查询能力,利用异构索引表满足了我们多维度查询的需求,最近的全局二级索引解决了异构索引表数据延迟的问题。小打卡后端负责...
来自: 解决方案
高性能数据库ECS测试及选型
高性能<em>数据库</em>ECS测试及选型
概述 客户自建高性能数据库(如电商大促)在做ECS选型时,对磁盘的IO、网络的吞吐都有很大要求,为了跟接近真实业务场景,使用HammerDB选定真实业务模型测试其TPM。通过对比TPM对比ECS性价比进行选型。同时使用FIO测试磁盘性能作为参考。 适用场景  自建数据库性能测试  磁盘性能测试  ECS选型建议 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势  基于标准的TPC-C测试,接近真实业务场景。  提供多规格实例测试,快速选择最优性价比实例。
高性能数据库 ECS测试及选型 最佳实践 场景描述 业务架构 客户自建高性能数据库(如电商大促)做 ECS选 型时,对磁盘的 IO、网络的吞吐都有很大要求,为 了跟接近真实业务场景,使用 HammerDB选定真 实业务模型测试其 TPM。通过对比 TPM对比 ECS 性价比进行选型。同时使用 FIO测试磁盘性能作为 参考。解决问题 自建数据库...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
通过PolarDB-X垂直拆分剥离各业务中心,使不同类型的业务数据可以存储不同的RDS上,确保资源和访问隔离,从物理上使整个数据库架构具备了扩展性.PolarDB-X的平滑扩容和弹性升降配能力,可实现短时间内将业务系统的计算和存储容量弹升至当前容量的倍,从容、快速应对突发业务流量.历经各界双十一峰值流量考验,最高可...
来自: 云产品
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用