随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
使用 BI 工具可视化 Quick BI Power BI 重要 数据写入 AnalyticDB MySQL 数仓后，通过其 MySQL 兼容的 SQL 端点对接 BI 工具。将 BI 工具所在网段加入 AnalyticDB MySQL 实例 IP 白名单。确保AnalyticDB MySQL的user_default资源组的 ACU ...
数据质量风险监控主要针对数据的准确性、一致性和完整性。本教程使用DataWorks数据质量（DQC）功能，完成数仓各层次的数据质量监控。前提条件 首先您需要完成教程 搭建互联网在线运营分析平台，并保证您的DataWorks工作空间创建区域为华东2...
DataWorks的数据对比节点可实现对不同表之间的数据进行多种方式的对比，并可在工作流中使用。本文为您介绍使用数据对比节点进行任务开发的主要流程。节点介绍 数据对比节点不仅仅用于数据集成，还支持表与表之间的对比。同时，它还支持...
DataWorks的数据对比节点可实现对不同表之间的数据进行多种方式的对比，并可在工作流中使用。本文为您介绍使用数据对比节点进行任务开发的主要流程。节点介绍 数据对比节点不仅仅用于数据集成，还支持表与表之间的对比。同时，它还支持...
数据集成提供向导式的开发引导，您无需编写任何代码，通过在界面勾选数据来源与去向，并结合DataWorks调度参数，实现将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍向导模式配置离线同步任务的常规配置，各...
数据服务访问RDS实例情况说明 为了更好地保障用户通过DataWorks数据服务访问RDS实例的安全性，新增数据源 时，选择的数据源类型不同（实例模式、连接串模式），在DataWorks数据服务中封装API时将会有不同的提示和建议，详情如下：数据源...
当需要实现更精细化的离线任务配置时，可以使用 脚本模式，通过编写数据同步的JSON脚本并结合DataWorks调度参数，将源端单表或分库分表的全量或增量数据周期性同步至目标数据表。本文为您介绍脚本模式配置离线同步任务的常见配置，各数据源...
在数据量较小、业务较简单的情况下，例如统计累计订单总数，该流程比较简单，采用流处理引擎即可实现。但当存在数据规模较大、数据格式不规范、计算逻辑复杂、下游对中间表的依赖度高等情况时，需要参考数据仓库分层架构设计即ODS、DWD、...
EMR集群类型 元数据存储类型 数据存储类型：OSS 数据存储类型：OSS-HDFS 数据存储类型：HDFS 新版数据湖集群（DataLake）数据湖构建（DLF）RDS实例 MySQL 自定义集群（Custom）数据湖构建（DLF）RDS实例 MySQL 其他集群-数据保护伞为什么有...
Power BI 2025年4月 类别 名称 说明 相关文档 新增 湖存储加速功能新增可用地域 印度尼西亚（雅加达）地域的 企业版、基础版及湖仓版 集群支持湖存储加速功能。湖存储加速（LakeCache）变更云盘等级 企业版、基础版及湖仓版 支持变更云盘...
DMS调度XIHE SQL DMS调度Spark DataWorks调度XIHE SQL Airflow调度Spark 数据可视化 BI可视化 AnalyticDB for MySQL支持QuickBI、DataV、FineBI、PowerBI、永洪BI、帆软BI、Tableau等多类BI工具。工具兼容性说明 管理与运维 功能集 功能 ...
通过DataWorks的数据推送功能，能够将数据库的数据组织查询后推送到各渠道，除了能推送业务数据，也能将数据库自身提供的监控数据进行推送。本实践将以Hologres为例，在每日9:00定时推送Hologres的监控数据，方便掌握Hologres的状态。实践...
您可以在 云原生数据仓库 AnalyticDB MySQL 版 空间总览页面查看集群和表的总数据量、冷数据量、热数据量、索引数据量、分区数量、节点的磁盘使用率等指标。查看集群级别的数据量 通过 空间总览 可以查看当前集群的 总数据量、热数据量、冷...
创建MySQL数据源 创建PolarDB-X数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for PostgreSQL数据源 创建达梦（DM）数据源 创建TiDB数据源 创建Kafka数据源 离线集成 新增Apache Doris数据源的离线集成。整库迁移任务支持...
数据安全中心DSC根据为不同行业预先定义的敏感数据关键字段，扫描MaxCompute、OSS、阿里云数据库服务（RDS、PolarDB-X、PolarDB、OceanBase、表格存储等）和自建数据库中的数据，通过敏感数据规则，判断和打标敏感数据，为数据安全审计、...
Lindorm Ganos 引擎在大部分查询中的耗时都比较低，耗时约为开源GeoMesa（HBase）的1/3，约为云数据库MongoDB分片集群的1/2，测试结果如下：时间和空间范围的查询耗时 在时间范围和空间范围查询场景中，Lindorm Ganos 引擎的查询耗时都比较...
AnalyticDB PostgreSQL版 提供的智能诊断数据倾斜功能，可以每小时定期自动诊断数据库内的所有表，并生成相应的诊断信息表，供您检测库内所有表的倾斜情况。注意事项 智能诊断数据倾斜功能仅支持存储弹性模式实例，且内核版本须满足以下...
数据读取 MaxCompute存储的数据主要在MaxCompute上进行分析查询，同时支持用户通过数据通道和JDBC进行批量数据读取，或通过外部表-湖仓一体读数据，并将数据写入OSS等湖存储。数据生命周期 MaxCompute表的 生命周期（Lifecycle），指表...
数据探查 单击 数据探查，展示数据预览、表信息、临时查询信息和数据探查相关信息。重要 如该表类型在数据查询模块不支持，则此处不展示探查功能。单击 数据预览，对数据表数据进行预览。更多信息，请参见 预览物理表数据。单击 表信息，...
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
Amazon S3数据源 Graph Database（GDB）数据源 PolarDB数据源 Amazon Redshift数据源 HDFS数据源 PolarDB-X 2.0数据源 AnalyticDB for MySQL 2.0数据源 Hive数据源 PostgreSQL数据源 AnalyticDB for MySQL 3.0数据源 Hologres数据源 Redis...
元数据 API 标题 API概述 目录 目录 CreateCatalog 创建数据湖数据目录 创建数据湖数据目录。DeleteCatalog 删除数据湖数据目录 删除数据目录。UpdateCatalog 更新目录 更新数据目录内容。ListCatalogs 获取数据目录列表 分页查询，获取...
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍如何使用数据域功能分类管理资产。...
在弹出的添加 数据对话框 中，选择需要添加的数据源类型，支持添加 RDS for PostgreSQL数据源、RDS for MySQL数据源、兼容MySQL数据库的数据源、实时数仓Hologres数据源、AnalyticDB for MySQL数据源。操作数据集 在数据集管理页面右上角...
元数据管理是构建数据湖重要一环，通过有效的集中式元数据管理，可以提升数据资产价值。本文为您介绍数据湖构建中数据库、数据表及函数的相关操作。数据库 创建数据库 登录 数据湖管理控制台。在左侧菜单栏，选择 元数据 元数据管理。单击 ...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据库 数据库 ListDatabases 查询数据地图数据库列表 查询数据地图中给定实例/集群/数据目录下的数据库列表。对于dlf/starrocks类型，查询给定数据目录下的数据库列表，其中starocks类型仅支持查询Internal Catalog；对于其他类型，查询...
DLF数据权限：主要控制DLF内部资源的访问和使用权限，包括数据库、数据表、数据列、函数、数据目录等，以及数据权限的操作权限。数据权限详细说明，请参见 数据权限。数据授权相关的操作，请参见 数据授权。湖管理 湖管理包括Location托管...
在ChatBI中进行交互式会话之前，需要通过数据集来圈定开展分析的数据范围。数据集可以是目标数据源中的数据表，也可以是本地文件。准备工作 已在使用ChatBI功能的对应地域创建 Serverless资源组。适用范围 数据源类型的数据集，仅支持选择...
数据管理功能，以数据源维度展示了数据看板中所有组件使用的数据源合集，您可在该界面查看/编辑数据源配置，或批量替换目标组件所使用的数据源类型。批量替换数据源时，仅会更改数据来源（例如，由Hologres更改为RDS for MySQL），数据源已...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将符合筛选条件的表数据归档至其他数据库或存储服务中。...
数据传输（DTS）数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、云BI及实时数据仓库等多种业务场景。更多信息，请参见 数据同步方案概览。数据迁移 数据迁移...
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
DMS数据可视化 Quick BI数据可视化 Quick BI支持连接云数据库 SelectDB 版实例，连接成功后，您可以在Quick BI上进行数据的分析与展示。本文为您介绍如何为Quick BI添加云数据库 SelectDB 版数据源。Quick BI数据可视化 Grafana数据可视化 ...
在数据管理DMS离线集成中，可以组合各类任务节点，形成数据流，通过周期调度运行达到数据加工、数据同步的目的。本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB...
若您要使用DataV-Note（智能分析）对您的数据库、数据仓库（例如，RDS MySQL、MaxCompute）、本地文件数据进行分析及报告制作，则需先将相应数据创建为DataV-Note的数据源或导入至DataV-Note。本文为您介绍DataV-Note支持接入的数据类型，...
数据源用于连接各类数据库和存储服务（如MaxCompute、MySQL、OSS等），是 数据集成同步任务 的必备配置，决定任务读取（数据来源）和写入（数据去向）的数据库。数据源的作用 在数据集成任务中，数据源扮演着数据流动两端的“端点”角色：...