本文为您介绍如何进行数据服务系统配置。权限说明 超级管理员和系统管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页的顶部菜单栏，选择 服务 服务管理。单击左侧导航栏的 系统配置，进入 系统配置 页面。API调用鉴权配置 ...
本文为您介绍如何进行数据服务系统配置。权限说明 超级管理员和系统管理员支持修改系统配置。数据服务系统配置入口 在Dataphin首页的顶部菜单栏，选择 服务 服务管理。单击左侧导航栏的 系统配置，进入 系统配置 页面。API调用鉴权配置 ...
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
数据库自治服务DAS（Database Autonomy Service）提供实例画像功能，基于数据库实例的运行特征表现，通过AI大数据分析构建的一种“千人千面”画像服务。实例画像可以帮助您直观地了解数据库实例全貌，快速确认数据库实例是否存在异常与缺陷...
本文汇总了 PolarDB 冷数据归档相关的常见问题。出现"[Data Lifecycle Management]DLM storage engine is not support.The value of polar_dlm_storage_mode is OFF."报错，如何处理？您需要在 PolarDB控制台 上开启冷数据归档功能。详情请...
目录 pg_statistic 存储有关数据库内容的统计数据。其中的项由ANALYZE创建，查询规划器会使用这些数据来进行查询规划。所有的统计数据天然就是近似的，即使它刚刚被更新。通常对于数据表中一个已经被 ANALYZE 过的列，在本目录中会存在一个...
为什么没有设置主键（primary key）的表，用INSERT OVERWRITE插入，会出现重复数据？为什么使用查询语句SELECT*FROM TABLE GROUP BY KEY后，报错“Column 'XXX' not in GROUP BY clause”？为什么执行INSERT OVERWRITE SELECT语句后，原表...
什么是数据库审计 数据库审计服务是一款专业、主动、实时监控数据库安全的审计产品，可用于审计阿里云原生数据库和自建数据库。数据库审计服务将 数据库 监控、审计技术与公共云环境相结合，针对数据库 SQL 注入、风险操作等数据库风险行为...
本文为您介绍数据开发的相关问题。资源 如何在pyodps调用第三方包？如何在节点内使用资源？如何下载上传到DataWorks的资源？超过30M的资源如何上传？通过odpscmd上传的资源如何在DataWorks上使用？在DataWorks如何上传自己本地编写的jar并...
数据传输服务（DTS）所提供的数据同步功能可以帮助您实现不同数据源之间的实时数据同步。该功能可以捕获源数据库的数据变更，并将其实时地同步至目标数据库，广泛应用于版本升级、数据拆分或扩容、异地多活、异地灾备、跨境同步、查询报表...
存储概览 存储概览由离线作业（T+1）产生，统计当前数据目录、数据库和数据表的物理存储数据，包含所有版本的全量数据，帮助您快速了解当前存储资源使用情况及潜在问题，以便进行优化。详情请参见 存储概览。存储优化 存储优化通过一系列...
DeleteTableColumnStatistics 删除数据表统计信息 回收数据湖中数据表的字段统计信息。DeleteTableVersion 删除数据表指定版本 删除数据湖中数据表指定版本。UpdateTable 更新数据表信息 根据名称更新数据湖中数据表信息。...
总存储容量 统计当前数据目录中所有数据占用的总存储容量、日新增、月环比、日环比。本月元数据请求总次数 本月对元数据的操作请求总次数，包括查询、创建、修改、删除等操作。元数据对象总数量趋势 在筛选时间范围内，历史元数据对象总...
在组合多个列（例如 GROUP BY a,b）时，如果规划器只有单列统计数据，则对可区分值数量的估计常常会错误，导致选择不好的计划。为了改进这种估计，ANALYZE 可以为列组收集可区分值统计信息。和以前一样，为每一种可能的列组合做这件事情是...
安全规则有什么用，能否拦截操作？安全规则可以告警数据库中存在的安全风险，审计日志命中安全规则时，会触发告警，产生告警日志。数据库审计是旁路设备，无法拦截数据库的操作。而数据库审计配置过滤规则后，审计日志命中过滤规则时，会...
ArgoDB中的DML语句包括插入、更新和删除数据操作。...修改数据-用查询结果批量修改 UPDATE TABLE table_name SET(column,column,.)=(SELECT select_statement WHERE filter_statement)更多信息请参见 修改数据-用查询结果批量修改。
审计规则有什么用，能否拦截操作？审计规则可以发现对数据库访问中存在的安全风险。数据库审计设计原理为旁路方式，无法对数据库的操作进行拦截。但配置相应的审计规则后，命中规则后可记录下相应的追溯信息，根据等级还可触发告警并推送...
慢日志实时统计数据：支持中国内地、中国香港、新加坡、马来西亚（吉隆坡）、印度尼西亚（雅加达）、日本（东京）、德国（法兰克福）、英国（伦敦）、美国（硅谷）、美国（弗吉尼亚）地域。自建数据库：新版的慢日志分析页面目前不支持自建...
不同计算引擎对应的定价如下：数据处理单元规格 调度资源 定价（CNY/月）200 16C64G 大数据版：4,000 数据库版：2,000 500 16C64G 大数据版：8,000 数据库版：4,000 1000 32C128G 大数据版：12,000 数据库版：6,000 数据处理单元统计规则...
数据服务看板中以不同统计维度展示所选时间内Dataphin数据服务API的调用情况。查看调用统计和过去7天调用对比 统计时间：可选择近十分钟、近24小时、近7天或自定义时间段，自定义时间段可选择的时间范围为[T-7 00:00，当前时间]。默认选择...
本文介绍统计云数据库HBase表行数的方法。根据云数据库HBase表的服务类型使用不同的统计方法。如果云数据库HBase表为增强版，统计HBase表行数的方法具体请参见 统计表行数的方法。如果云数据库HBase表为标准版，可以通过两种方式精确的统计...
本文为您列出数据迁移与数据同步的常见问题和相关解答。什么是数据迁移、数据同步？DTS的数据迁移与数据同步工作原理是什么？DTS的数据迁移与数据同步有什么区别？使用DTS遇到预检查报错，如何解决？什么是数据迁移、数据同步？数据迁移：...
数据质量重点关注 您可在该区域右侧选择查看 规则 和 表 粒度统计需要重点关注的数据质量概况。类别 指标 描述 表 已配置规则表数 当前工作空间下，截止到您在概览页面右上角指定的日期，已配置质量校验规则的表数量。质量问题表数 当日...
对数据资产的全局及增量数据进行统计和展示。本文介绍如何查看及搜索数据资产。前提条件 已在运营模块中公开数据表、API和指标等数据资产。背景信息 在运营公开一条数据，资产首页刷新数量实时+1。在运营隐藏一条数据，资产首页刷新数量...
基于阿里巴巴OneData方法论最佳实践，在阿里巴巴的数据体系中，建议将数据仓库分为三层：数据引入层（ODS，Operational Data Store）、数据公共层（CDM，Common Dimensions Model）和数据应用层（ADS，Application Data Store）。数据仓库...
数据同步 数据同步功能帮助您实现数据源之间的数据实时同步，适用于数据异地多活、数据异地灾备、本地数据灾备、跨境数据同步、查询与报表分流、云BI及实时数据仓库等多种业务场景。同步支持的数据库、版本和同步类型以及配置文档，请参见...
数据处理单元的折算逻辑 计费详情 折算逻辑 集成任务&同步任务 统计范围：仅统计周期调度且已发布状态的任务。统计口径：每3个离线任务（数据同步任务+数据集成任务数）向上取整计算1个数据处理单元。离线计算任务 统计范围：仅统计周期...
汇总表 汇总表用于组织一个数据域下相同时间周期、相同维度的多个派生指标的统计数据，是对业务高度抽象后的梳理结果，为后续的业务查询，OLAP分析，数据分发等提供基础。更多汇总表的设计创建详情可参见 创建逻辑模型：汇总表。应用表 ...
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小、分区文件数、分区最后更新时间等...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
当数据库出现性能问题或异常操作时，通常需要结合数据库的会话信息，快速定位和解决数据库的问题。数据库自治服务DAS（Database Autonomy Service）的实例会话功能，支持实时查看目标实例的会话信息，并提供会话运维操作，例如结束会话、10...
在阿里巴巴的数据体系中，我们建议将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM，Common Data Model）和数据应用层（ADS，Application Data Service）。数据仓库的分层和各层级用途如下图所...
数据安全中心 DSC（Data Security Center）检测响应增值服务支持数据泄露检测、访问溯源及自建情报录入。本文介绍数据泄露概览查看、资产授权和自建情报录入等操作。前提条件 已 购买数据安全中心，并购买检测响应额度（在增值服务中单独...
Aggregate模型支持数据预聚合，专注于数据聚合统计场景。数据模型 分桶 是 分桶用于将数据分散到集群中的不同节点，以充分利用分布式系统的分而治之的能力来管理和查询海量数据。分桶 分区 否 分区能够根据指定字段（如时间、地域等）将...
大Key和热Key的统计排名机制 为避免对数据库造成额外的资源占用，本功能仅会统计客户端操作（读、写）过的Key，并仅保留和展示每种Key类型的Top数量，而不会实时扫描数据库中的所有Key。同时，在实例重启后或HA切换后，原先统计的TopKey...
请参考 RAM用户授权 文档，为RAM用户授予如下权限策略：必要权限：慢日志趋势图数据（DescribeSlowLogHistogramAsync）、慢日志模板统计数据（DescribeSlowLogStatistic）、慢日志明细数据（DescribeSlowLogRecords）、事件中心数据...
pg_profile 是 PolarDB PostgreSQL版（兼容Oracle）支持的一款第三方插件，能够统计目标数据库中资源密集型活动，来分析和优化数据库。此扩展基于PostgreSQL的统计视图和部分社区插件，完全由PL/pgSQL编写，无需任何外部库或软件。配合 pg_...
此时TSDB写入成功或失败时会按下述响应内容返回成功的数据点数和失败的数据点数方便业务端进行统计 名称 数据类型 描述 success Integer 写入成功的数据点数 failed Integer 未能成功写入的数据点数 示例如下：{"failed":0,"success":20 } ...
pg_profile 是 PolarDB PostgreSQL版 支持的一款第三方插件，能够统计目标数据库中资源密集型活动，来分析和优化数据库。此扩展基于PostgreSQL的统计视图和部分社区插件，完全由PL/pgSQL编写，无需任何外部库或软件。配合 pg_cron 插件可以...