说明 本文主要讨论按照数据创建时间的冷热数据分层。冷数据特点 数据量大：相对于热数据，冷数据通常需要保存较长时间，甚至永久保存。成本管控：数据量大且访问频率较低，不宜投入过多成本。性能要求低：相较于普通的TP请求查询，无需在...
图 1.DLF统一元数据在单集群部署架构图 图 2.DLF统一元数据在多集群部署架构图 自建RDS 元数据存储在RDS中。自建RDS元数据类型和内置MySQL类型在架构上是一致的，区别只是存储由本地的MySQL，变成了RDS（云上的MySQL）。如 自建RDS在多集群...
PolarDB PostgreSQL版 支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能优势 当 开启...
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
PolarDB PostgreSQL版（兼容Oracle）支持冷热数据分层存储功能，使用OSS等更低成本的存储介质，将冷热数据进行分层存储。将访问频率和更新频率低的数据转存到OSS中，可以有效降低存储成本。本文介绍了冷数据分层存储的优势和技术原理。功能...
产品架构图 主要组件说明 任务控制 MongoDB实例支持多种管理控制任务，如创建实例、变更配置以及备份实例等。任务系统会根据您下发的操作指令，进行灵活控制并进行任务跟踪及出错管理。HA控制系统 高可用探测模块，用于探测MongoDB实例的...
集群架构单副本：每个分片服务器采用单副本模式，无高可用功能，适用于纯缓存类常见或者QPS压力较大的业务场景。说明 集群架构还支持两种连接模式：代理模式 可提供智能的连接管理，降低应用开发成本。直连模式 支持客户端绕过代理服务器...
分层存储数据的存储费用按照存储空间计费，数据转换不会产生费用。功能说明 日志服务提供热存储、低频存储（原冷存储）和归档存储功能。您可以在 Logstore属性 页面，开启智能分层存储功能，将热存储的数据转为低频存储或归档存储。您可以...
云数据库Redis作为高性能的Key-Value数据库，在业务场景中往往承载着大量的重要数据，为保障数据安全性，云数据库Redis提供了多种灾备方案供您选择。云数据库Redis容灾架构演进 当云数据库Redis实例因不可预料的原因（例如设备故障、机房...
开通冷存储 时序引擎实例创建后本身就具备了对热数据和温数据的分层管理能力。但是对于冷数据，如果需要启用上文所说的冷数据自动归档到冷存储介质的能力，则需要预先在Lindorm实例层面开通冷存储。开通冷存储的方法如下：申购Lindorm实例...
解决方案架构图 客户价值 通过全面集成云数据库 PolarDB PostgreSQL版（兼容Oracle），伯俊软件最终客户数据库的管理复杂度大幅降低。在同样性能表现下，云数据库 PolarDB PostgreSQL版（兼容Oracle）综合使用成本降低50%以上。全面集成云...
图计算服务Graph Compute是阿里云自主研发的高性能分布式图计算产品，为开发者提供万亿级数据规模的一站式图技术服务。Graph Compute支持复杂图关系数据的存储、查询和计算，高效对接图算法与模型，在搜索推荐广告、实时风控、知识图谱、...
优势 云原生数据仓库AnalyticDB PostgreSQL版 的向量分析特性针对非结构化数据检索分析，与普通的检索系统有较大的差异，主要体现在下面的几点：结构化和非结构化混合分析 例如，可以检索与输入图片中的连衣裙相似度最高、价格在100元到200...
高度可扩展 相比传统单机关系型数据库，PolarDB-X 1.0 采用分层架构可确保在并发、计算、数据存储三个方面均可线性扩展，通过增加 PolarDB-X 1.0 计算资源与存储资源以达到水平扩展效果。相比基于分布式存储的新型Cloud Native数据库，理论...
数据库容灾最佳实践 数据库备份 阿里云数据库具备数据库的备份恢复能力，除了小部分海量数据产品需要手工开启备份恢复功能外（如ClickHouse、Lindorm），其余常见数据库产品已默认开启数据库的自动备份，在数据库进行备份后，可利用现有...
实现端到端全链路追踪 链路追踪的价值在于“关联”，终端用户、后端应用、云端组件（数据库、消息等）共同构成了链路追踪的轨迹拓扑大图。这张拓扑覆盖的范围越广，链路追踪能够发挥的价值就越大。而全链路追踪就是覆盖全部关联 IT 系统，...
并且这两类进程通过一致性协议来保证服务的高可用和数据的高可靠，这种高度集成的架构设计极大的降低了一款分布式系统的运维成本。从以下五个方面介绍Doris技术：在使用接口方面，Doris采用MySQL协议，高度兼容MySQL语法，支持标准SQL，您...
整体系统架构方案如下图所示：航运数据可视化分析系统架构图如下：业务价值 通过阿里云产品的支持，缩短了业务的技术实现周期，降低了运维投入。Ganos on Lindorm高性能查询指标满足了业务上低延迟流畅显示的要求。不同于轨迹数据，航线...
架构图如下所示。云端：通过边缘计算控制台集成开发边缘一体机相关的资源，管理接入的终端设备、应用、算法等，实时监控边缘一体机及其软硬件资源。边缘端：终端设备接入边缘一体机后，边缘一体机可以实现终端设备数据的采集、流转、存储、...
AHAS的架构感知模块能够自动识别并分析在阿里云上部署的应用程序和服务的架构，通过收集和处理数据，构建系统架构图。您可以更加直观的了解架构的组成以及架构组件间的依赖关系。架构和架构组件 为了更好地理解AHAS提供的架构感知模块，您...
主要操作流程 操作目的 维度建模 使用DataWorks的 智能数据建模 完成对业务数据仓库的模型规范制定及数据分层、数据域、业务过程等信息的设定，完成逻辑模型的设计，并将逻辑模型发布生成物理表。DataWorks智能建模会将创建的模型表发布到...
最佳实践：基于TairSearch加速多列索引联合查询 基于TairSearch构建股票K线实时计算服务 在TairSearch中使用Msearch实现索引分片搜索 在TairSearch中使用bool进行组合条件查询 Graph 图数据库GDB RedisGraph 图数据库（Graph Database，...
架构介绍 AnalyticDB PostgreSQL版 高性能版实例的Master和Segment节点均采用了单节点部署，架构图如下。图 1.高性能版架构图 相比较下图中的高可用版，高性能版取消了Master Node的副本Standby Node，以及Compute Node中Primary的副本...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据仓库的分层和各层级用途如下图所示。数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据...
冷热数据分层存储 大规格分层存储 社区兼容版大存储型集群支持添加云盘和扩容磁盘。大规格分层存储 企业版共享存储OSS 共享存储 企业版采用存算分离架构，多节点共享一份存储。OSS存储 存储底层采用OSS，相比社区版存储单价大幅降低。企业...
使用DataWorks进行数据建模时，数仓架构师或者模型小组成员可以在数仓规划页面对数据分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。完成设计后，模型设计师在建模过程中可以依赖数仓规划中的数据分层、业务分类、数据域、...
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据自动治理优化 存在的问题 Transactional Table 2.0支持分钟级近实时增量数据导入，高流量场景下可能会导致增量小文件数量膨胀，尤其是桶数量较大的情况，从而引发存储访问压力大、成本高，数据读写I/O效率低下等问题。如果Update和...
通过创建GreenPlum数据源能够实现Dataphin读取GreenPlum的业务数据或向GreenPlum写入数据。本文为您介绍如何创建GreenPlum数据源。背景信息 Greenplum是一款大数据分析引擎，作用于分析、机器学习和AI等领域。其架构主要针对管理大规模分析...
数据仓库的分层和各层级用途如下图所示。数据引入层ODS（Operation Data Store）：存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到MaxCompute的职责，同时记录基础数据...
支持 支持（单机版不支持）不支持 分时弹性 支持 支持（单机版不支持）不支持 按需弹性 支持 不支持 不支持 冷热数据分层-支持 支持 不支持 数据接入 数据实时接入 支持 不支持 不支持 元数据自动发现 支持 不支持 不支持 作业开发 SQL作业...
典型案例&架构 航海船舶大数据平台 场景：全球AIS船舶实时位置数据，每天上亿条轨迹写入，要求轨迹时空/时序查询秒级响应，具体包括：监管区域实时地理围栏判断。轨迹区域回放（指定区域+指定时间段）。轨迹回放（指定时间段查询）。架构...
架构图 组件说明 应用系统/客户端 应用系统/客户端是 云数据库SelectDB版 用户使用的产品或工具，通常与 云数据库SelectDB版 实例部署在相同地域，方便就近访问，减少 网络延时和不稳定的影响。实例 云数据库SelectDB版 实例，包括计算、...
上图所示即为MaxCompute高效支持上述综合业务场景的全新架构，支持丰富的数据源方便地通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎支持近实时增量...
产品架构图 一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active的Failover方式，...
产品架构图 一写多读 PolarDB 采用分布式集群架构，一个 集群版 集群包含一个主节点和最多15个只读节点（至少一个，用于保障高可用）。主节点处理读写请求，只读节点仅处理读请求。主节点和只读节点之间采用Active-Active的Failover方式，...
代理模式的服务架构图和组件说明如下。图 1.集群版-单副本代理模式服务架构 表 1.集群版代理模式组件说明 组件 说明 代理服务器（proxy servers）单节点配置，集群版结构中会有多个Proxy组成，系统会自动对其实现负载均衡及故障转移。数据...
线程模型对比 线程架构 说明 图 1.Redis单线程模型 Redis社区版和原生Redis采用单线程模型，数据处理流程为：读取请求，解析请求，处理数据，发送响应。其中网络IO和请求解析占用了大部分的资源。图 2.Tair多线程模型 Tair 内存型将服务各...