分析型数据库MySQL版（ADS）目前已品牌升级至 云原生数据仓库 AnalyticDB MySQL 版。云原生数据仓库 AnalyticDB MySQL 版 是基于湖仓一体架构打造的实时数仓，高度兼容MySQL，支持毫秒级更新，亚秒级查询。无论是数据湖中的非结构化或半...
面向海量数据的云原生数仓需要满足不同的数据分析场景，包括在线报表，在线交互式分析，以及ETL等。不同的场景依赖分析计算引擎自适应的采用不同的查询优化技术，包括按需的动态代码编译，CPU友好的内存数据布局，以及自适应的并行度调整等...
通过创建Hudi数据源能够实现Dataphin读取Hudi的业务数据或向Hudi写入数据。本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的...
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储，直接对外部数据进行操作，从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
Delta Table是由MaxCompute自主研发的，为大规模分析型数据集打造的高性能表格式（Table Format），包含 无主键表Append Delta Table和主键表PK Delta Table。本文概述Delta Table的基本功能及操作。功能概要 Delta Table是阿里云...
Dataphin提供了简单、快速、高效的数据分析平台，您可通过数据分析对数据仓库中的数据进行洞察、在线查询及可视化分析，提取出有效信息而形成结论，辅助决策。前提条件 需开通智能研发版。分析平台简介 在分析平台上，您可选择您有权限的...
通过创建Hudi数据源能够实现Dataphin读取Hudi的业务数据或向Hudi写入数据。本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的...
Dataphin支持创建并管理数据标准，以保障数据的标准化生产与管理，节约数据应用和处理的成本。5分钟快速了解 背景信息 数据标准目标是为 业务、技术 和 管理 提供服务和支持。数据标准管理的过程就是对数据以及数据的属性信息的标准化定义...
本文以“使用DataWorks实时同步公共数据至Hologres，并通过Hologres进行实时数据分析”为例，为您展示DataWorks的数据同步能力与Hologres的实时分析能力。本教程以申请免费资源为例为您示例详细操作步骤，您也可以使用付费资源，操作类似。...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
Metabase是一个开源的商业智能平台，它支持MySQL、PostgreSQL等多种数据源，同时也提供了直观的Web界面，从而使不同数据库的用户能够轻松地探索和可视化其数据。本文介绍使用Metabase连接 云原生数据仓库 AnalyticDB MySQL 版 的具体步骤。...
本文介绍公开数据集信息，并指导如何通过MaxComputeSQL分析连接查询并分析数据。简介 MaxCompute开放的公开数据集类别包括：GitHub公开事件数据、国家统计数据、TPC性能测试数据、数字商业类数据、生活服务类数据、金融股票类数据。所有的...
DeleteBusiness 删除业务流程 ExecuteFile 将文件作为临时任务执行 LockFile 偷锁编辑 DICreateDatasource 数据集成新增数据源 数据集成 DIBatchCreateDatasource 数据集成批量新增数据源 DIUpdateDatasource 数据集成修改数据源 ...
MapReduce处理数据的完整流程如下：输入数据：在正式执行Map前，需要对输入数据进行分片（即将输入数据切分为大小相等的数据块），将每片内的数据作为单个Map Worker的输入，以便多个Map Worker同时工作。Map阶段：每个Map Worker读取数据...
DataWorks的DataStudio（数据开发）支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中，本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将 数据库 监控、审计技术与公共云环境相结合，针对数据库 SQL 注入、风险操作等数据库风险行为进行记录与告警，...
多可用区部署 备份恢复 Lindorm宽表引擎支持数据备份恢复功能，基于数据生态服务中的数据迁移将数据存储至OSS中，定期全量备份数据，实时增量同步数据，来满足对数据备份和数据恢复的需求。备份恢复 产品生态 功能集 功能 功能描述 参考...
Level 1→Level 2：当中等大小的DeltaFile达到一定规模后，会触发更高层级的合并，生成更大的优化文件（图中橙色数据文件）。避免读写放大 大文件隔离：体积超过一定大小的数据文件（如Bucket3中的T8文件）会被专门隔离处理并排除在合并...
通过创建Aliyun HBase数据源能够实现Dataphin读取Aliyun HBase的业务数据或向Aliyun HBase写入数据。本文为您介绍如何创建Aliyun HBase数据源。背景信息 Aliyun HBase即阿里云的云数据库HBase，是低成本、高扩展、云智能的大数据NoSQL。...
通过创建Aliyun HBase数据源能够实现Dataphin读取Aliyun HBase的业务数据或向Aliyun HBase写入数据。本文为您介绍如何创建Aliyun HBase数据源。前提条件 若您需在Dataphin中创建基于阿里云产品的数据源，创建数据源前，需确保Dataphin的IP...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
DataWorks的数据服务模块，提供了通过API消费数据的服务，可以为使用API接收数据的业务提供数据。本文将以场景示例形式，为您介绍如何用DataWorks完成API服务对数据的消费。前提条件 已创建 独享数据服务资源组计费 或已 为Serverless资源...
以下是常见的应用场景：数据存储与计算安全场景：在不可信环境中（如第三方平台），Spark全密态计算引擎 可以为关键的数据分析应用（如投资和财务分析）提供数据保护，保证用户数据在存储与计算过程中的安全，降低明文数据泄露风险。...
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
其中，第4条“维护数据安全，应当坚持总体国家安全观，建立健全数据安全治理体系，提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益，鼓励数据依法合理有效利用，保障数据依法有序自由流动，促进以数据为关键要素的数字...
在ChatBI中进行交互式会话之前，需要通过数据集来圈定开展分析的数据范围。数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择...
F 分析实例 将RDS MySQL主实例中的数据自动同步到MySQL分析实例中，解决RDS MySQL复杂分析查询卡顿问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 分析实例简介。服务账号 技术支持人员提供技术支持...
MaxCompute支持您在项目中创建OSS（Object Storage Service）外部表，与存储服务OSS上的目录建立映射关系，您可以通过OSS外部表访问OSS目录下的数据文件中的非结构化数据，或将MaxCompute项目中的数据写入OSS目录。本文为您介绍创建、读取...
支持 支持 锁分析 PolarDB MySQL版 的一键诊断融合了DAS部分功能，您可以通过其中的锁分析直观地查看和分析数据库最近一次发生的死锁。支持 支持 诊断报告 PolarDB MySQL版 的一键诊断融合了DAS部分功能，支持自定义诊断报告创建条件并查看...
F 分析实例 将RDS MySQL主实例中的数据自动同步到MySQL分析实例中，解决RDS MySQL复杂分析查询卡顿问题，实现毫秒级针对万亿级数据进行即时的多维分析透视和业务探索。更多信息，请参见 分析实例简介。服务账号 技术支持人员提供技术支持...
通过数据传输服务DTS（Data Transmission Service），您可以将 RDS MySQL 的数据库结构和数据同步到 RDS DuckDB分析主实例，快速构建企业BI、交互查询和实时报表系统。适用范围 已创建目标 RDS DuckDB分析主实例，详情请参见 创建DuckDB...
限制和最佳实践：分布式执行模式下，配置较大任务并发度可能会对您的数据存储产生较大的访问压力，请评估数据存储的访问负载。如果您的独享资源组机器台数为1，不建议使用分布式执行模式，因为执行进程仍然分布在一台Worker节点上，无法...
MaxCompute支持通过DataWorks的数据集成功能将MaxCompute中的数据以离线方式导出至其他数据源。当您需要将MaxCompute中的数据导出至其他数据源执行后续数据处理操作时，您可以使用数据集成功能导出数据。本文为您介绍如何将MaxCompute的...
数据服务支持对部分数据源表的查询提供加速能力，加速能力包含DataWorks数据服务提供的加速能力和MaxCompute本身支持的加速方案（MCQA）。通过使用加速服务，您可以在调用API时提高数据查询的速率和性能。本文为您介绍两种加速方案的使用...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
本文将介绍如何创建HttpFile和MySQL数据源以访问用户信息和网站日志数据，配置数据同步链路将这些数据同步到在环境准备阶段创建的OSS存储中，并通过创建Spark外表解析OSS中存储的数据。通过查询验证数据同步结果，确认是否完成整个数据同步...
数据推送节点可将Data Studio业务流程中其他节点产生的数据查询结果，通过新建数据推送目标，将数据推送至钉钉群、飞书群、企业微信群、Teams以及邮件，便于团队成员及时接收和关注最新数据情况。原理介绍 数据推送节点，可以通过 节点上...