大数据计算服务MaxCompute（原名ODPS）为您提供完善的数据导入方案，能够快速解决海量数据的计算问题。前提条件 配置MaxCompute输出节点前，您需要先配置好相应的输入或转换数据源，详情请参见 实时同步能力说明。背景信息 写入数据不支持...
type:ALLOW#控制模式，支持白名单模式'ALLOW'和黑名单模式'REFUSE' resource:"XFF:1"#可选字段，如果设置本字段，取X-Forwarded-For头中的IP作为判断依据，本示例取XFF头的倒数第一个IP作为客户端源IP判断，items:blocks:#IP地址段-61.3.XX...
背景信息 路由算法是减少路由时开销的一种算法，逻辑表配置了路由算法后，带路由字段则可以快速查询指定物理表，免去人为计算、切换物理库表的操作。路由算法的更多信息，请参见 路由算法。使用场景 分表数据查询 分表数据变更 分表数据...
db_name 数据库名称 db_type 数据库类型，包括MySQL、PostgrepSQL。db_version 数据库版本 instance_id 集群ID lock_time 锁等待的耗时，单位：秒。owner_id 阿里云账号ID query_sql 慢日志SQL语句 query_time 查询耗时，单位：秒。region ...
重要 使用API写入日志数据或添加Logtail配置时，请不要将Key即字段名称设置为这些保留字段，否则可能会造成字段名称重复、查询不精确等问题。旧版投递任务不支持投递_tag_前缀的字段。若当前Logstore的计费模式为按写入数据量计费时，日志...
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 企业数据智能平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联...
数据映射 当您需要自定义图表字段配置时，可以在 数据映射 模块设置不同的字段映射内容，将这些字段映射到组件对应的字段上。无需修改数据源中的字段，就可以实现数据的实时匹配。也可以单击 图标对字段分别样式配置。过滤器 打开 过滤器，...
RDS MariaDB、其他来源MariaDB PolarDB PostgreSQL版（兼容Oracle）PolarDB分布式版 OceanBase Oracle DB2 达梦数据库 Lindorm：Lindorm_CQL、Lindorm_SQL OpenGauss 数据仓库：AnalyticDB MySQL版 AnalyticDB PostgreSQL版 DLA（Data Lake...
通过云计算资源 将已存在数据库中的数据表，通过云计算资源扫描方式，导入 数据资源平台 系统，实现逆向创建逻辑表。具体操作，请参见 通过云计算资源导入逻辑表。通过Excel导入 将Excel表里的逻辑表表名、字段信息、所属层级、关联信息...
关联数据库（MySQL 模式下）使用 外键约束 时需指定关联表（父表）所在的数据库。关联表 使用 外键约束 时需指定关联表（父表）。关联字段 使用 外键约束 时需指定关联字段（父表）。删除 指定删除关联表（父表）中的数据时，当前表（子表...
AnalyticDB MySQL 是分布式数据库，数据需要根据分布字段均匀地分布在各个后台节点才能保证尽可能高的利用资源。分布字段选择不合理，会导致写入时存在热点，降低写入性能。分区字段合理性。AnalyticDB MySQL 后台以分区为粒度进行数据存储...
本文为您介绍迁移 MySQL 数据库的数据至 OceanBase 数据库 MySQL 租户时，ALTER TABLE DDL 字段操作支持的转换范围。总览 ALTER TABLE tbl_name[alter_option[,alter_option].]alter_option:{ ADD[COLUMN]col_name column_definition[FIRST...
字段 说明_topic_日志主题 redis_audit_log：DB节点的审计日志 redis_proxy_audit_log：Proxy节点的审计日志 account 数据库账号名称 command 执行的Redis命令 db 数据库名称 extend_information 附加信息 instanceid Redis实例ID ip IP...
您在使用Logtail采集日志时，可以添加Logtail插件，通过正则模式、标定模式、CSV模式、单字符分隔符模式、多字符分隔符模式、键值对模式、Grok模式提取日志字段。本文介绍各个插件的参数说明和配置示例。使用限制 文本日志和容器标准输出只...
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建逻辑表字段时通过关联数据元自动生成质量规则的功能。一致性：支持当前...
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
物理化：支持将已存在的逻辑表物理化到数据库，并对物理化执行结果信息进行展示。表关系配置：支持建立多个表之间的关联关系，并提供关联关系编辑功能。质量规则配置：支持可视化与自定义SQL方式制定表级与字段级质量规则，并提供手工创建...
用途 字段加工算子可以将节点的数据进行逻辑加工，然后作为输出字段在之后的节点使用。适用场景 计算链路 计算引擎 是否支持 离线 MaxCompute 是 Hive 是 HiveStorage 是 RDS/MySQL 是 使用说明 加工逻辑 对于需要加工的字段，需要输入字段...
filter_not_pushdown_columns=[test01.table01:id|product]*/示例2：以3.1.4及以上的内核版本为例，当前查询，包含数据库 test01 的表 table01 中字段 id、product，数据库 test02 的表 table03 中字段 key 的过滤条件不会下推。...
字段 说明_topic_日志主题，固定为mongo_audit_log audit_type 日志类型，例如Command coll 数据集合 db 数据库名称 docs_examined 文档扫描行数 instanceid MongoDB实例ID keys_examined 索引扫描行数 latency 消耗时间 optype 操作类别 ...
您可以通过值转化节点将解析任务的流转消息中某个字段，转化为另一个值，该值可以输出到原字段或新定义的字段。通过该节点转化生成多样化的数据，可用于后续分析或输出。应用场景 场景一：转化值到原字段。某大棚使用传感器上报光照度（lux...
授权查询数据库中的视图 grant select on<数据库名>.<视图名>to<用户名>;示例 授权用户test01查询数据库rds001的视图view_test1。grant select on rds001.view_test1 to test01;授权更新或查询表中的字段 grant update(<字段名>)on table...
支持的数据库：关系型数据库：MySQL、SQL Server、PostgreSQL、MariaDB、Oracle、达梦数据库（DamengDB）、PolarDB PostgreSQL版（兼容Oracle）、PolarDB分布式版、OceanBase、DB2、Lindorm_CQL、Lindorm_SQL、OpenGauss。数据仓库：...
步骤一：获取数据库连接参数 参考 获取连接参数 文档，获取相应的租户连接参数，例如：$obclient-hxxx.xxx.xxx.xxx-P3306-u a*-p*-Dtest 数据库连接参数包含了访问数据库所需的参数信息，在验证示例代码前，可通过数据库连接参数验证登录...
使用数据库时，对成为查询条件的字段设置索引可以有效提高查询效率，更快的获取信息。缺省情况下会对_id_字段默认创建一个非唯一索引。前提条件 创建数据表 添加记录 操作步骤 登录 EMAS管理控制台。查找您的项目，单击项目，进入EMAS 概览...
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
rds 示例 {"instanceId":"rds-instance-id","dbName":"my_db","dbTableName":"my_table","dbUser":"my","dbPassword":"my_passwd","filter":"","autoSync":true } 结构 字段 类型 描述 instanceId String 实例ID dbName String 数据库名 ...
检索分析是指您使用SQL在数据库的海量数据中高效、精准地提取有效信息，可用于商业决策、报告生成、趋势分析等各类数据驱动的任务。本文介绍如何使用 云数据库 SelectDB 版 的检索分析。前提条件 已创建 云数据库 SelectDB 版 实例。具体...
强约束 与传统关系型数据库类似，时序引擎会严格依据预先定义的表结构对写入数据的表名、字段名、数据类型进行校验。不匹配则写入失败。弱约束 写入数据的表不存在时，时序引擎不会报错，而是会自动创建对应的表。写入数据的新增一个标签...
前提条件 数据库类型为关系型数据库或数据仓库。更多信息，请参见 支持的数据库类型。目标实例的管控模式为安全协同。更多信息，请参见 管控模式。您具有如下任意权限：您的角色为管理员、DBA或结构只读，更多信息，请参见 系统角色。您为...
在 请先选择数据库 对话框中，搜索并选择目标数据库，单击 确认。调整字段敏感等级。右键单击目标表名，选择 敏感数据管理>安全级别调整，字段敏感等级调整完成后，单击 提交流程到安全部门。单击表列表 图标，在目标表的 操作 列下选择 更...
数据库 可组合查询数据库名，如：DB1 DB2 DB3。操作类型 选择需要查询的操作类型，可多选。说明 您可 开启高级查询 输入更多信息以缩小搜索范围。单击 查询，即可看到 日志列表 中 SQL语句 的具体信息。说明 单击 导出，勾选需要的 导出...
2020年6月 新功能/特性 简要概述 类别 文档 支持同步数据到Hologres 支持同步数据到Hologres 数据同步 创建同步Hologres 兼容Kafka 可以使用原生Kafka客户端将数据写入DataHub 开发指南 兼容Kafka Canal插件 使用canal将MySql的增量数据...
内存实体 不存储在数据库中，仅临时存储在应用程序内存中的实体。系统默认实体 系统默认实体里面既含有实体，也有内存实体。系统默认实体实际上是引用模块的实体，系统数据模块是应用的默认引用模块。操作步骤 登录 魔笔。在顶部菜单栏选择...
日志服务扫描分析功能支持免配置索引进行目标字段的扫描，用于分析相关日志。本文介绍扫描分析功能的相关信息。背景信息 日志服务基于索引技术，提供快速查询和分析日志功能，但在某些场景下可能会遇到如下限制，无法创建或使用索引。为...
MySQL输入基于Binlog实时订阅的方式，实时读取您配置的MySQL数据库表数据。本文为您介绍，如何配置MySQL输入，以及配置输入之前需要准备的网络环境及账号权限。前提条件 配置MySQL输入之前，请确保已完成以下规划与准备工作。已配置同步...
配置数据字段 在数据接口设置页签中，默认情况下系统会自动添加两个示例数据字段，您可以自定义按操作配置数据字段。操作 说明 编辑字段基本信息 每一个数据字段中包含多个字段参数内容，您可以自定义编辑字段的参数内容。字段名：输入数据...
配置SelectDB输出组件，可以将外部数据库中读取的数据写入到SelectDB，或从大数据平台对接的存储系统中将数据复制推送至SelectDB，进行数据整合和再加工。本文为您介绍如何配置SelectDB输出组件。前提条件 已创建SelectDB数据源。具体操作...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...