背景信息 当业务累积了大量数据时，需要定期清除表中的数据，或对在线数据和历史数据进行分隔管理。您可能会遇到以下问题：单条SQL影响行数过多，日志超过阈值导致任务执行失败。SQL没有使用索引导致锁表，数据库负载增加，甚至造成业务...
对运维高危操作、异常访问、拖库攻击、数据库注入、数据库外联、数据库高危操作等行为进行监控告警，覆盖传统数据库的基础上，还支持对象存储OSS、大数据平台MaxCompute以及PolarDB数据库等，实现全方位统一管理。产品使用相关问题 数据...
TP类查询业务的读写数据量都非常小，如果某个查询的扫描数据量非常大，那么大概率是由于索引缺失导致。例如下述查询语句在慢查询列表中显示扫描数据量为1万+，但返回数据为1条，那么很明显在 name 列上有索引缺失的情况。SELECT*FROM table...
行业趋势 数据库系统至关重要 数据库与操作系统、中间件并称为系统软件的三驾马车，是企业IT系统不可或缺的组件，也是互联网应用级企业信息管理系统存储数据和管理数据的核心平台。数据库系统是一切应用软件的数据处理及交换核心，是所有...
挑战和诉求：历史数据归档 历史数据归档的挑战 大部分业务数据的读写特征，都是最新产生的数据会被更频繁地读取或更新，而更久之前的数据（如1年前的聊天记录或订单信息）很少被访问。随着业务发展，数据库系统中会积累大量访问频率很低...
云原生多模数据库 Lindorm 内含宽表引擎、时序引擎、搜索引擎、文件引擎、计算引擎和流引擎，兼容HBase/Cassandra/S3、OpenTSDB、Solr、HDFS、Kafka等多种开源标准接口，同时提供SQL查询、时序处理、文本检索分析等能力。为应对动态变化的...
支持 支持 REDO IO Cache 优化 计算存储针对云盘IO特征的关键路径优化，增强业务吞吐量。支持 支持 Blink Tree 降低B+Tree index锁冲突，大幅提高structure modification operations（SMO）并行度及B+Tree并发读写性能。支持 支持 DDL DDL...
GitHub十大热门编程语言 DataWorks MaxCompute 函数计算 OSS 数据集成 数据开发 基于GitHub Archive公开数据集，通过DataWorks 数据集成 模块获取过去1小时GitHub中提交次数最多的代码语言数据，在DataStudio 数据开发 模块通过函数计算...
案例四：自动驾驶企业 用户为自动驾驶领域企业，需要基于车采数据进行地理位置和时序的采集数据分析，要求对JSON格式的友好兼容和时空数据的分析能力，构建业务看板并支持特征工程。建议：使用 AnalyticDB PostgreSQL版 存储弹性模式，实例...
更新说明 管理数仓规划待发布对象 管理数据架构待发布对象 管理编码研发待发布对象 管理标签架构待发布对象 管理标签待发布对象 管理数据标准待发布对象 管理数据质量待发布对象 管理数据安全待发布对象 2024年04月 更新时间：2024年04月15...
用户画像 可以将各种用户特征进行数据加工，制作成包含全部用户的一张或多张用户特征表，提供灵活的用户画像分析、支撑广告和圈人等业务需求。实时BI报表 根据业务需求，可以实时制作一些及时产出的查询灵活的BI报表，实现秒级查询，绝大...
新增基于识别特征的智能推荐映射关系功能，数据标准和数据安全模块共用识别特征能力，支持给数据标准配置关联的识别特征。新增自定义质量规则属性功能，创建质量规则时，可根据属性定义填写对应的业务属性，丰富质量规则信息。治理工作台...
在左侧导航栏，选择 一站式数据管理>数据资产管理。说明 若首次通过DMS（新版）登录 AnalyticDB MySQL版 集群数据库来使用数据资产管理功能，您需要先完成数据库登录信息录入，登录数据库方法，请参见 登录数据库。若之前已登录过 ...
提供了便捷的数据上传功能，支持将多种来源（例如，本地文件、OSS文件）的数据上传至MaxCompute大数据引擎中进行分析处理及相关管理操作，致力于为您提供高效、便捷的数据传输服务，助力您快速实现数据驱动业务。数据上传 2023.10.12 新增...
您可以参考业务规划设计文档和业务运行（开发、设计、变更等）相关文档，从以下几方面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，...
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
您可以参考业务规划设计文档以及业务运行（开发、设计、变更等）相关文档，全面分析数据仓库涉及的源系统及业务管理系统：每个业务会生成哪些数据，存在于什么数据库中。对业务过程进行分解，了解过程中的每一个环节会产生哪些数据，数据的...
背景信息 集群规格 AnalyticDB MySQL版 集群支持多种规格（更多详情，请参见 规格），不同集群规格的CPU核数、内存大小和数据存储介质等属性不同，处理子任务的能力也就不同，因此您需要结合业务查询特征来选择集群规格。例如，以Join或...
说明 此处规则运行配置的并发运行数、扫描禁用期、采样配置、资源配置和数据标准模块的特征扫描配置共用，任何一个配置修改将同步影响另外一处的配置。全局特征识别任务包括标准和安全模块的特征识别任务。数据标准：按照识别特征智能匹配...
PolarDB 采用存储和计算分离的架构，提供分钟级的配置升降级、秒级的故障恢复、全局数据一致性和免费的数据备份容灾服务，既融合了商业数据库稳定可靠、高性能、可扩展的特征，又具有开源云数据库简单开放、自我迭代的优势。本文介绍深圳市...
数据域构建 划分数据域可以更好地管理数据，提高数据的利用率，降低数据冗余度、帮助企业更好地了解自己的业务。数据域面向业务分析，可以概括为一个个不可拆分的行为事件。在划分数据域时，既能涵盖当前所有业务需求，又能在新业务拓展时...
随着项目的不断演进，人员的权限也会更新迭代，您需要及时审视人员权限合理性，提升项目数据安全。本文为您介绍权限查询要点，并提供调整建议供参考。背景信息 在项目创建初期，为了提升业务处理效率，通常在用户和权限管理上相对宽松。...
数据板块是逻辑空间的重要组成部分，是基于业务特征划分的命名空间。在使用规范建模前，您需要完成数据板块的创建。本文为您介绍如何新建数据板块。前提条件 仅支持 智能研发版。若需使用，请升级当前版本。升级版本，请参见 升级。在开始...
更新说明 新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量功能优化 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制...
新建和管理数据标准 新建和管理落标映射规则 已映射关系管理 无效映射关系管理 查看落标评估明细 资产质量 支持按照全局、项目、个人视角进行查看质量规则、校验记录、治理工作台、整改流程，并支持按照个人的权限控制个人所能查看的数据...
处理方法 打开 租户管理 页面，查看租户的 已使用磁盘，如果所有租户累计使用磁盘空间很大，表示业务数据量确实很大，需要对集群做扩容处理。登录业务租户，查询是否开启了回收站：show variables like 'recyclebin'，ON 表示开启，OFF ...
管理数仓规划待发布对象 管理数据架构待发布对象 管理编码研发待发布对象 管理标签架构待发布对象 管理标签待发布对象 管理数据标准待发布对象 管理数据质量待发布对象 管理数据安全待发布对象 2024年04月 对应发布的产品版本：V3.14 北京...
步骤三：新建业务流程 数据服务基于业务流程实现以业务为单元的数据服务API开发，并通过业务流程对API及创建API所使用的函数等文件进行组织管理。因此，在数据服务创建API前，需先新建业务流程。步骤四：生成API 业务流程创建完成后，您可...
功能模块 变更说明 工作台 新增工作台，为用户使用数据安全中心提供全流程配置指引，包括资产同步、资产授权管理、数据识别以及数据审计配置，流程化产品配置链路，提升资产配置效率；同时为用户提供全局敏感数据风险态势，洞察敏感数据...
《数据管理服务协议》是阿里云计算有限公司（以下简称“阿里云”）与您就数据管理服务的相关事项所订立的有效合约。《数据管理服务协议》以下或简称“本服务协议”、“服务协议”或“本协议”。背景信息 在接受本协议之前，请您仔细阅读...
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
数据分类用于定义数据在安全领域的业务属性，可对数据进行多级分类打标，更贴合行业标准，本文为您介绍如何新建及管理数据分类。前提条件 已创建数据分类层级。如需创建，请参见 新建数据分类层级。已创建识别特征。如需创建，请参见 添加...
识别特征用于统一管理...编辑：支持修改自定义识别特征的内容，修改后，引用当前识别特征的数据分类会同步更新，请及时同步相关业务人员。删除：支持删除自定义识别特征，删除后，当前识别特征会从已经引用数据分类中自动删除，请谨慎操作。
DataV旨在让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建专业水准的数据看板，满足您会议展览、业务监控、风险预警和地理信息分析等多种业务的展示需求。本文为您介绍DataV产品功能和功能体验等内容。使用...
数据开发 提供一站式计算节点开发能力，一体化管理数据加工流程的开发、部署、调试等环节。数据开发支持复用数据加工工作流编排、加工逻辑，大幅提升数据开发效率。统一服务 提供了数据中台建设过程中的数据服务化能力，面向数据开发者提供...
背景信息 指标是衡量业务特征的统计数值，用于体现企业某一业务活动的业务状况。指标通常分为原子指标和派生指标，与指标相关的参数还包括修饰词和时间周期。派生指标则是由 原子指标+时间周期+一个或多个修饰词 组成。原子指标用于明确...
读写外部数据 oss_fdw AliPG提供的oss_fdw插件可以将OSS中的数据加载到数据库中，也可以将数据库中的数据写入OSS中，为您提供数据迁移、冷热数据分离功能。并发控制 pg_concurrency_control AliPG提供的pg_concurrency_control插件可以控制...
PolarDB 列存索引（In Memory Column Index，IMCI）功能推出了完备的虚拟列与列式JSON功能等，可以快速处理大数据和多种数据类型（包括结构化数据与半结构化数据等），并提供高效的数据分析、查询与流计算能力，适用于数据分析、数据仓库与...
本文为您介绍如何新建及管理数据标准。权限说明 超级管理员、数据标准管理员可以在所有标准集下新建或克隆数据标准。标准集维护人员及标准集成员可以在已加入的标准集下新建或克隆数据标准。超级管理员、数据标准管理员及标准负责人可管理...
进入 数据建模 阿里云DataWorks联合建模工具DDM（Datablau Data Modeler）为您提供一体化的数据建模解决方案，我们将数据模型设计管控、引标落标等能力融入DataWorks规范化开发流程，助力用户实现数据资产价值化输出，在数据全生命周期上...