创建数据质量监控。接口说明 需要购买 DataWorks 基础版及以上版本才能使用 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权...
创建数据质量监控运行实例。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
本文为您介绍数据质量中的数据对象、质量规则、强规则和弱规则等基本概念。概念 描述 质量规则 数据对象进行质量校验时的规则，质量规则可以覆盖到字段。例如，如果您需要关注某个表中的行数变化及主键是否重复，则您可以将行数变化和主键...
数据质量监控规则异常分析、规则优化。数据异常的核查。运维阶段的流程包括分析影响、制定与实施方案和验证实施方案。操作步骤 分析影响。运维人员或开发人员通过监控规则捕获、自主发现或其它方法获取关于数据产出时效性、数据准确性等...
MaxCompute是适用于数据分析场景的企业级SaaS模式云数据仓库，支持在多种工具上使用MaxCompute运行大数据计算分析作业。如果您需要进行简单的查询等数据分析作业，推荐您使用SQL查询或DataWorks的临时查询等工具，高效便捷地完成数据分析...
模型发布生产环境成功后，DataWorks智能数据建模支持自动生成数据质量监控规则，便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。前提条件 已将表发布至生产环境...
数据库 数据库 ListDatabases 查询数据地图数据库列表 查询数据地图中给定实例/集群/数据目录下的数据库列表。对于dlf/starrocks类型，查询给定数据目录下的数据库列表，其中starocks类型仅支持查询Internal Catalog；对于其他类型，查询...
操作步骤 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据质量，在下拉框中选择对应工作空间后单击 进入数据质量。在左侧导航栏，单击 质量运维 质量监控。在数据源列，选择数据库，然后在右侧找到目标质量监控，...
适用角色 数据分析师 业务分析师 数据科学家 产品价值 大模型驱动的智能分析，开启愉快的探索旅程 AI自动规划数据分析任务，一键生成分析报告，完成从取数、分析、展示到洞察的全流程工作。多元化的分析方法，满足每一位用户的需求 无论您...
Dataphin支持配置租户级别的告警消息模板，您可根据不同的模块查看并编辑告警消息模板的内容，包括离线计算、实时计算、基线监控、数据质量、数据服务。本文为您介绍如何查看及修改消息模板。使用限制 支持超级管理员和系统管理员编辑消息...
OSS Foreign Table（简称OSS FDW）是基于PostgreSQL Foreign Data Wrapper（简称PG FDW）框架开发的用于访问OSS数据的数据分析方案，支持将OSS数据导入至 AnalyticDB PostgreSQL版，且提供分区表功能，在性能、功能以及稳定性上都优于OSS ...
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。数据质量待发布 对象入口 使用 跨租户发布使用人 账号登录Dataphin。在Dataphin首页，在顶部菜单栏...
导入的发布包文件中存在数据质量的变更对象时，将在待发布数据质量页面为您展示，您可在待发布数据质量页面对数据质量对象进行管理和发布。数据质量待发布 对象入口 使用 跨租户发布使用人 账号登录Dataphin。在Dataphin首页，在顶部菜单栏...
大数据分析平台 对于MaxCompute、Hadoop和Spark中保存的海量数据，可通过采用数据集成服务（DataX）或通过对象存储服务（OSS），快速批量导入到 云原生数据仓库AnalyticDB PostgreSQL版，帮助您实现高性能分析处理和在线数据探索。数据湖...
监控规则是数据质量（DQC）的核心。数据质量支持MaxCompute、EMR（E-MapReduce）、Hologres、AnalyticDB PostgreSQL、AnalyticDB MySQL监控，本文为您介绍如何配置MaxCompute监控。操作步骤 步骤一：新增MaxCompute数据源 进入数据源页面。...
支持数据质量检验和控制 可以设置数据质量规则和异常报警策略，及时发现和处理数据质量问题。支持实时监控任务运行状态和查看日志 用户可以实时了解任务的执行情况，并设置异常告警，保证任务的稳定运行。支持多种数据库产品组合 支持多种...
数据质量支持按照数据表配置质量监控规则，用来监控表数据是否符合要求，自动拦截问题任务，阻断脏数据向下游蔓延，保障产出的表数据符合预期。本文为您介绍如何配置表的质量监控规则并执行质量监控及其他相关操作。前提条件 已采集引擎...
本文系统阐述了阿里云数据质量的运行机制，深入解析其调度触发、规则执行与结果管理等核心环节，助您构建稳定可靠的数据监控体系，全面保障数据资产的准确性。
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
实现反馈有渠道、整改可跟踪 数据质量最佳实践（1）：批量配置质量规则，快速提升质量覆盖率 数据质量最佳实践（2）：通过归档和分析异常数据，快速定位质量问题 数据质量最佳实践（3）：通过质量治理工作台，实现质量问题的跟踪和处理 ...
通过阿里云MaxCompute、云数据库RDS MySQL、DataWorks等产品，可以实现互联网、电商网站的离线数据分析，且支持通过DataV大屏展示分析后的业务指标数据。概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标...
迁移数据 分析数据是 SelectDB 的主要使用场景，例如在线高并发报表与分析、用户画像与行为分析，以及日志存储与分析等。通常，您需要将业务的历史数据导入至 SelectDB，以便进行后续的数据分析工作。针对数据迁移，SelectDB 支持丰富的...
使用场景 数据分析使用场景 数据分析的 SQL查询 功能使用场景如下：您可以通过数据分析的 SQL查询 功能查询数据，并通过分析模式的Web Excel对查询结果进行分析。您也可以下载查询结果至本地，减少数据流动，保障数据安全。MaxCompute任务...
若您正在使用数据可视化（老）功能进行数据分析，建议在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。下线时间 2024年04月01日：针对部分用户，下线访问数据可视化（老）功能。说明 部分用户指在2023年04月01日至2024年04月01日这...
本实践以电商行业为例，通过MaxCompute、DataWorks对业务数据和日志数据进行ETL处理，并同步至分析型数据库MySQL（AnalyticDB MySQL）进行实时分析，再通过Quick BI进行可视化展示。背景信息 MaxCompute：用于进行大规模数据计算，详情请...
数据自助分析与决策 某科技企业在业务数据化运营中，经常需对用户留存率、活跃率等进行数据报表分析，而Quick BI数据展现丰富，操作便捷，很好地满足了用户全程数据的自助分析与即时决策快节奏，解决了用户的以下问题：取数难 业务人员需...
通过对数据源的连接和数据集的创建，对数据进行即时的分析与查询；通过电子表格或仪表板功能，以拖拽的方式进行数据的可视化呈现。连入成功后，您可以在Quick BI上进行数据的分析与展示。前提条件 已创建阿里云时间序列数据库实例。背景...
本文介绍访问数据分析功能的三种方式。通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。单击控制台左上角的 图标，选择 全部功能 Data+AI 数据应用 数据分析。说明 若您使用的是非极简模式的控制台，在顶部菜单栏中，选择 Data+AI...
数据质量 单击 数据质量 质量报告，展示数据表字段个数、质量检测字段数、质量检测规则数、质量评分和质量评分规则统计等。单击 质量评分说明，查看质量评分概述、质量评价维度分类和质量规则等。单击 评分趋势查看，通过评分趋势图了解该...
数据质量的运行记录模块展示质量监控任务运行时的规则校验结果。质量监控任务运行后，您可以在运行记录页面查看详情。进入任务查询 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据治理 数据质量，在下拉框中选择对应工作...
为了创建完整的字段标准，需要先完善数据字典的管理，创建好数据字典后，可以用来规范数据标准字段的值域范围，保证关联了字段标准的表及字段可以自动设置数据质量规则，规范数据质量。通过导入数据字典可以实现批量创建数据字典。本文介绍...
近些年来，随着业务数据量的增多，企业需要能够对数据进行分析，助力商业决策，更好地发挥数据价值，而传统开源及商业关系型数据库通常为单机版，在海量数据分析场景下扩展能力有限，性能无法满足需求。以Teradata，Oracle Exadata为代表的...
本章节介绍如何通过 云数据库 SelectDB 版 提供的联邦查询技术，对数据湖、数据库、远端文件等外部数据源进行联邦分析。为您提供简单、快速的数据分析体验。概述 云数据库 SelectDB 版 提供多源数据目录功能（Multi-Catalog或Catalog），...
Sugar BI是百度智能云推出的敏捷 BI 和数据可视化平台，MaxCompute支持您将MaxCompute项目数据接入Sugar BI，帮助您轻松完成数据分析和数据可视化工作。本文为您介绍如何使用Sugar BI连接MaxCompute项目，并进行可视化数据分析。前提条件 ...
数据质量为您提供多种预设表级别、字段级别的监控模板。本文为您介绍如何按模板配置监控规则。使用限制 按模板配置目前支持配置MaxCompute、E-MapReduce、Hologres、CDH Hive、AnalyticDB PostgreSQL、AnalyticDB MySQL、StarRocks和MySQL...
说明 DMS数据分析在SQL执行成功后，会基于各个字段的SQL数据类型和执行结果数据推测出合适的数据集模型，即区分字段是维度还是度量，因此在SQL执行成功后，您可以对数据类型和可视化类型进行验证和调整（如将字段数据类型调整为国家、省份...
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力，可便捷地连接多种数据源、支持SQL查询，并提供电子表格等多样化的数据分析工具，以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
数据湖后端存储使用OSS，用户使用数据湖构建面向大数据分析和机器学习场景可以获得集中式权限管理和统一的元数据视图，更容易对接云上大数据和分析产品。什么情况下我需要使用数据湖构建？在云上有数据分析和机器学习需求，希望构建云上的...
DataV-Note的智能分析功能，可根据您输入的自然语言匹配相应算法，一键分析数据、输出分析思路、分析过程，并生成分析报告，大幅缩短数据分析的时间，节省人力资源。本文为您介绍智能分析的相关功能及操作。注意事项 智能分析是系统根据您...