您在创建索引时，可将字段的数据类型设置为text、long、double或JSON。本文介绍各个数据类型的配置示例及注意事项。text类型 如果您要查询和分析字符串类型的字段，需在配置索引时，将字段的数据类型设置为text，并开启统计功能。说明 开启...
数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎（解析字段间关联、依赖和影响关系的引擎）和数据资产知识图谱构建等核心能力，可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
在数据库审计系统查看会话日志 登录数据库审计系统。具体操作，请参见 登录数据库审计系统。在左侧导航栏，选择 查询分析 会话日志。选择资产名称、时间范围等检索条件后，单击 查询。单击 会话标识，可查看会话详情。在日志服务控制台查看...
实例录入数据管理DMS后，DMS会自动采集实例中数据库的字典信息。当您在DMS发现实例信息不一致时，您可以手动同步字典。如果您在DMS进行数据库结构变更，DMS会自动同步字典，否则需要手动同步字典。背景信息 字典信息用于实现数据库、表、...
base_retry_back_off=1,max_retry_back_off=60,primary_keys=None,use_ssl=false,update_time_key=None,deleted_flag_key=None)说明 日志服务还支持通过res_rds_mysql函数从AnalyticDB MySQL数据库、PolarDB MySQL数据库拉取数据，您只需将...
创建完成维表后，您可以在维表中直接写入数据，也可以导入电子表格、本地CSV文件和Excel文件的数据至维表，为后续数据分析做准备。前提条件 已创建完成一个维表，详情请参见 创建维表。操作步骤 在 维表 页面，单击 全部维表 下相应的 文件...
数据库Owner 每个数据库最多可以有三个数据库Owner，在数据库首次同步字典时初始化实例DBA为数据库Owner。DBA角色、管理员角色用户或原数据库Owner可对数据库Owner角色进行编辑调整（转交、释放、新增）。可通过流程主动申请。可对数据库的...
将列存索引数据按时间戳字段 ts 按天分区：CREATE INDEX my_ts_idx USING COLUMNAR ON my_ts_tbl(*)PARTITION BY ENUMERABLE(ifnull(substring(from_unixtime(ts),0,10),'unknown')AS dt,bucket(128,id))WITH(`lindorm_columnar.user.index...
概述 本文介绍计算字段在数据集中展示方式。详细信息 非聚合计算字段显示的就是No，聚合计算字段显示+-*%。只有在原始字段组合后再用聚合函数才算是聚合计算字段。比如有a,b两个字段，sum(a)-sum(b)就是非聚合计算字段;sum（a-b）就是聚合...
在日志服务控制台查看审计日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的审计日志来源是日志服务。您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的审计日志数据。...
本文为您介绍数据读写的数据源组件（即DB-IN算法组件）。DB-IN算法组件从所选数据源内选表选字段。计算逻辑原理 根据用户填写的数据源连接信息，调用选择数据源的接口获取表字段schema。使用流程说明 先在“数据源管理”页定义好数据源连接...
您可以将自建MySQL数据库或RDS MySQL数据库中的数据导入到日志服务，实现数据的查询分析、加工等操作。本文介绍导入MySQL数据的操作步骤。警告 日志服务“导入MySQL数据”功能将停止更新维护，停止时间和相关迁移事宜将另行通知。推荐使用...
您需要在数据集成同步任务配置前，配置好您需要同步的源端和目标端数据库，以便在同步任务配置过程中，可通过选择数据源名称来控制同步任务的读取和写入数据库。实时同步支持的数据源及其配置详情请参见 实时同步支持的数据源。说明 数据源...
在日志服务控制台查看会话日志 日志服务存储了数据库审计系统审计到的数据库操作日志，在数据库审计系统查看到的会话日志来源是日志服务，您可以在日志服务控制台查看和下载数据库审计服务创建的Project和Logstore中记录的会话日志数据。...
AnalyticDB for MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB for MySQL 后台以分区为粒度进行...
适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 选择去重字段 选择需要去重的字段，选中的字段将作为该算子的输出字段，数据中若包含多条重复记录则仅保留第一条数据。
接口说明 仅管控模式为安全协同的数据库实例可调用此 API。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求...
查询结果会额外提供一个字段表示数据来源的数据库、表信息，单击则可以跳转至对应的物理库表并带入查询SQL与查询条件信息。查询也可以不带路由字段作为条件，进行全表（所有分表）扫描查询操作，如汇总统计。说明 同时也支持 GROUP BY 等...
您需要将数据库添加至DataWorks上，以便在同步任务配置时，可通过选择数据源名称来控制同步读取和写入的数据库。详情请参见 MySQL数据源、创建MaxCompute数据源。说明 数据源相关能力介绍详情请参见：数据源概述。已购买合适规格的 ...
字段选择转换组件适用于将上游输入的字段进行选择性保留一部分、对字段重命名、修改数据类型和调整输出字段的顺序。本文为您介绍如何配置字段选择转换组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照...
字段选择转换组件适用于将上游输入的字段进行选择性保留一部分、对字段重命名、修改数据类型和调整输出字段的顺序。本文为您介绍如何配置字段选择转换组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照...
拆分原则 数据表拆分的首要原则，就是要尽可能找到数据表中的数据在业务逻辑上的主体，并确保大部分（或核心的）数据库操作都是围绕这个主体的数据进行，然后可使用该主体对应的字段作为拆分字段，进行分库分表。选择业务逻辑主体 业务逻辑...
问题描述 Quick BI数据集的维度字段，在功能设置中，找不到“转换为度量”的功能选项。问题原因 通过新建计算字段生成的维度字段无法直接使用转换为度量的功能，所以此种字段的功能列表中没有显示转换为度量的功能。解决方案 在使用新建...
DataBase 扫描的数据所属数据库名。FilterPushDown 过滤条件是否下推到存储节点。说明 仅当当前Stage中存在过滤条件下推时才会展示该属性。PushedDownFilter 下推到存储节点的过滤条件。说明 仅当当前Stage中存在过滤条件下推时才会展示该...
常规流程为在数据源模块建立数据库连接后，开发者将数据源表或者数据集作为输入，在数据集模块进行建模，并基于数据集深度分析与展示数据。在实际应用时，从数据源表到数据集环节，需要对数据源表进行额外的加工处理（例如，对数据进行合并...
DataWorks数据建模支持在建模前规划制定数据标准，或在建模使用过程中根据业务情况沉淀企业业务的数据标准。通过规范约束标准代码、度量单位、字段标准、命名词典，来保障后续建模与应用过程中数据处理的一致性，从源头上保障数据的标准化...
ColumnName_test DbId long 否 数据库 ID（DatabaseId），数据库分为物理库和逻辑库两种：物理库 ID：可通过调用接口 ListDatabases 或 SearchDatabase 获取该参数的值。逻辑库 ID：可通过调用接口 ListLogicDatabases 或 SearchDatabase ...
完成数据解析的源节点配置后，您可根据源节点的数据，配置字段和表达式，添加数据过滤的筛选器。通过解析生成多样化的数据，可用于后续分析或输出。前提条件 已配置源节点，具体操作，请参见 配置源节点。背景信息 数据解析功能说明，请...
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
为了满足不同业务场景数据集成的诉求，Dataphin支持用户自定义当前系统不支持的RDBMS数据库（关系型数据库）类型的组件，并进行数据同步。您只需要准备关系型数据库的驱动，即可自定义RDBMS数据库类型的组件。本教程以MySQL为例，为您介绍...
OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake Analytics）ClickHouse MaxCompute Hologres Hive 已购买敏感数据保护商品。...
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
DMS分类分级扫描能够对数据库中的敏感数据进行检测，并自动为符合识别规则的字段打上相应的分类分级标签，还可以保护高敏感等级的字段，并将敏感字段直观地展示在识别结果中。本文介绍DMS敏感数据保护分类分级扫描功能的原理。原理介绍 DMS...
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
将SLS数据向外投递至其他数据库进行联合分析 修改SLS数据投递到其他数据库的日志投递字段映射关系。具体操作，请参见 管理日志投递任务。针对修改名称和新增的字段，建议您直接在字段映射关系中增加修改名称和新增字段的映射关系，以确保V2...
若当前Logstore的计费模式为按使用功能计费时，日志服务为日志数据增加的字段按照按使用功能计费方式正常收费，为其开启索引时也会产生少量索引流量及存储费用。更多信息，请参见 按使用功能计费。保留字段 数据格式 索引与统计设置 说明_...