您可以借助Iceberg快速地在HDFS或者阿里云OSS上构建自己的数据湖存储服务，并借助开源大数据生态的Spark、Flink、Hive和Presto等计算引擎来实现数据湖的分析。核心能力 Apache Iceberg设计初衷是为了解决Hive数仓上云的问题，经过多年迭代...
更新说明 创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成配置优化 新增Apache Doris数据源的离线集成。...
背景信息 Kudu提供接近于关系数据库管理系统（RDBMS）的功能和数据模型，提供类似于关系型数据库的存储结构来存储数据，允许用户以和关系型数据库相同的方式插入、更新、删除数据。Kudu仅仅是一个存储层，并不存储数据，因此需要依赖外部的...
查看上传记录 提交上传后，若数据量较大，需要耗费一些时间，您无需在提交页面一直等待，可后续通过单击 数据上传 页面右上角的 查看上传记录 查看通过该功能上传数据的详情记录。说明 通过该页面的 查看上传记录 查询到的记录详情也包含...
数据质量帮助您第一时间感知源端数据的变更与ETL（Extract Transformation Load）中产生的脏数据，自动拦截问题任务，有效阻断脏数据向下游蔓延。避免任务产出不符合预期的问题数据，影响正常使用和业务决策。同时也能显著降低问题处理的...
在 新建数据源 对话框的 大数据存储 区域，选择 Hologres。如果您最近使用过Hologres，也可以在 最近使用 区域选择Hologres。同时，您也可以在搜索框中，输入Hologres的关键词，快速筛选。在 新建Hologres数据源 对话框中，配置连接数据源...
云计算架构的核心逻辑就是通过虚拟化技术带来池化资源，云原生数据库采用分布式数据库架构，实现大规模扩展，每套数据库系统横跨多台服务器和虚拟机，带来了全新的系统管理挑战。其中最核心的挑战就是如何实现弹性以及高可用，实现按需按量...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源（例如MySQL数据库）的数据，也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上，您可以直接在DataWorks上配置MaxCompute数据源并读写...
Dataphin是阿里巴巴集团OneData数据治理方法论内部实践的云化输出，一站式提供数据采、建、管、用全生命周期的大数据能力，以助力企业显著提升数据治理水平，构建质量可靠、消费便捷、生产安全经济的企业级数据中台。Dataphin兼容多种计算...
为了更好地满足各种不同的业务场景，StarRocks支持多种数据模型，StarRocks中存储的数据需要按照特定的模型进行组织。本文为您介绍数据导入的基本概念、原理、系统配置、不同导入方式的适用场景，以及一些最佳实践案例和常见问题。背景信息...
数据备份物理空间大小如下图所示：说明 PolarDB 集群 数据备份物理空间大小（上图中①所示）：指数据备份的收费对象，物理空间大小是指所有数据备份（快照）独占的物理空间大小之和，PolarDB集群的数据与多个数据备份（快照）会复用相同的...
扩展能力说明 扩展能力 说明 支持选购容量型存储 支持选购容量型存储用于存储冷数据。挂载云盘与本地SSD盘并池 本地SSD盘单计算节点的存储容量较小，通常无法满足存储容量需求较大的业务场景。因此当存储容量需求较大时，需购买和使用更多...
通过结合其他云产品，云数据库RDS可以适用于更多典型的应用场景。自建库搭配RDS实现异地容灾 RDS搭配异构数据库实现数据多样化存储 RDS结合开放搜索服务实现复杂搜索 开启读写分离扩展RDS处理能力 RDS搭配大数据计算服务实现大规模数据计算
为帮助您更方便地使用Tair扩展数据结构，云原生内存数据库Tair 在部分Redis客户端的基础上开发了Tair客户端，您可以通过Tair客户端直接调用Tair扩展数据结构。Tair客户端 说明 TairJedis TairJedis是基于Jedis开发的Tair客户端。...
IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与扩展流计算等应用场景。针对海量半结构化数据...
Tair（Redis企业版）为帮助您更方便地使用Tair扩展数据结构，云原生内存数据库Tair 在部分Redis客户端的基础上开发了Tair客户端，您可以通过Tair客户端直接调用Tair扩展数据结构。Tair客户端 说明 TairJedis TairJedis是基于Jedis开发的...
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
本教程以MySQL中的用户基本信息（ods_user_info_d）表及OSS中的网站访问日志数据（user_log.txt）文件，通过数据集成离线同步任务分别同步至MaxCompute的ods_user_info_d、ods_raw_log_d表为例，为您介绍如何通过DataWorks数据集成实现异构...
基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...
基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...
业务痛点：遥感影像数据体量大且增量快，存储扩展不灵活，成本高昂，管理复杂。传统静态切片方式管理显示速度快，但无法支撑分析场景和AI场景。多源空间数据融合查询分析困难。架构说明：原始数据采用OSS高性价比存储，冷热分离。影像数据...
任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
回答：#AnalyticDB PostgreSQL是阿里云提供的一种云原生在线分析处理（OLAP）服务，它基于开源的PostgreSQL数据库扩展，提供了高性能、高容量的数据仓库解决方案。它结合了PostgreSQL的灵活性和兼容性以及用于数据分析和报告的高并发和...
量化评估：健康分 健康分是依据数据资产在数据生产、数据流通及数据管理中的用户行为、数据特性、任务性质等元数据，使用数据处理及机器学习等技术，对各类型数据进行综合处理和评估，通过个人、工作空间维度客观呈现数据资产状态的综合...
本文介绍了如何通过ECS管理控制台购买一个存储容量单位包SCU。前提条件 创建SCU前，请确保您的账号下不存在未支付的账单。操作步骤 登录 ECS管理控制台。在左侧导航栏，选择 存储与快照>>存储容量单位包。选择以下对应方式，购买存储容量...
基于全新打造的分布式块存储（Distributed Storage）和文件系统（Distributed Filesystem），存储容量可以在线平滑扩展，不会受到单个数据库服务器的存储容量限制，可应对上百TB级别的数据规模。数据多副本、Parallel-Raft协议 数据库存储...
创建实例 释放实例 管理存储空间 管理存储空间是数据库管理的一部分，涉及到如何规划、分配、配置、监控、维护和扩展数据库存储空间。管理存储空间 设置删除保护 实例删除保护功能可以防止在操作过程中将承载有重要业务的实例误释放。开启...
数据容量弹性自适应增长 法大大每月都会产生TB级的增量的结构化数据，PolarDB 存储的弹性及海量存储的能力很好地解决了传统MySQL存储容量的问题，而 PolarDB 基于快照的备份方式也很好地实现了大数据量的备份及按时间点恢复。并发高性能...
数据库自治服务DAS的Auto Scaling是以数据库实例的实时性能数据作为输入，由DAS完成流量异常发现、合理数据库规格建议和合理磁盘容量建议，使数据库服务具备自动扩展存储和计算资源的能力。背景信息 为业务应用选择一个合适的数据库计算...
一块全新的数据盘挂载到ECS实例后，还不能直接存储数据，您需要为数据盘创建分区、挂载文件系统等初始化操作后才可以正常使用。本文介绍云盘初始化的操作场景、操作指导、分区格式及设备名介绍。操作场景 初始化操作仅适用于全新（没有数据...
说明 如为增量同步任务，DTS要求源数据库的数据日志保存24小时以上，如为全量同步和增量同步任务，DTS要求源数据库的数据日志至少保留7天以上（您可在全量同步完成后将数据日志保存时间设置为24小时以上），否则DTS可能因无法获取数据日志...
共享读写 共享高并发读写、IO级数据一致性、线性扩展等。不支持。支持。但需要部署上层第三方商业集群文件系统后，才可使用。支持。但不支持对同一个文件的高并发读写以及IO级的数据一致性保护。协议支持 POSIX文件接口，提供与本地文件...
产品规格 产品规格 2U标准型 4U大容量型 CPU 两颗Intel英特尔®至强®16核2.4GHz处理器 内存 128GB或256GB 网络接口 千兆、万兆或25G以太网接口 扩展能力 3~4096节点 系统盘 2块480G SATA SSD（DWPD≧3）缓存盘 2块、3块、4块3.84T NVMe U....
在小鹏汽车的智能辅助驾驶业务上，实现了每日 TB 级大数据表的 7000 万行更新和大数据表秒级分析查询。——小鹏汽车 SRE 负责人 客户介绍 关于小鹏汽车 小鹏汽车是中国领先的智能电动汽车公司，致力于为对技术充满热情的消费者设计、开发、...
云原生内存数据库Tair 持久内存型（简称持久内存型），基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比云数据库Redis社区版最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎...
Tair 持久内存型（简称持久内存型）基于持久内存技术，为您提供大容量、兼容Redis的内存数据库产品。单实例成本对比 Redis社区版 最高可降低30%，且数据持久化不依赖传统磁盘，保证每个操作持久化的同时提供近乎Redis社区版的吞吐和延时，...
PolarDB-X 弹性升降配支持在10~20分钟内将 PolarDB-X 的QPS扩展至当前的2~32倍，大幅度提升 PolarDB-X 的高并发读写能力，同时可以通过平滑扩容能力扩展RDS的数据库数量，在3~6小时内将RDS数据库的读写能力（QPS或TPS）扩展至当前的2~24倍...
对于大部分业务而言，只要SQL语法、数据类型、事务、索引支持较为完整，且具备有效手段可在各种极端场景下进行水平扩展，那么对于高速发展的业务而言，PolarDB-X 1.0 即是所有分布式数据库中最具生命力及延续性的方案。按成本选择 对于数据...
大数据与数据库一体化：早期大数据技术以牺牲一定程度一致性为基础提供分布式能力，解决了传统单机数据库的扩展性不足问题，在MapReduce基础上提供了标准SQL接口，架构上也逐步采用了部分MPP数据库技术；另一方面，分布式数据库也快速发展...