重新采集 如果您觉得 数据更新时间 过久，您也可以单击 重新采集 按钮并确认，让系统后台异步重新采集数据。说明 后台异步重新采集数据，您需要等待几分钟后刷新页面查看结果。保存PDF 如果您需要将页面保存到本地，请单击 保存PDF，等待...
热数据存储量会出现增长情况：在开启异步处理的场景下（Merge或Zorder），MaxCompute流式数据通道服务会对最近一小时写入的数据保存两份，一份为原始数据，一份为异步聚合后的数据，数据的存储量会有一定程度的冗余。冗余数据的保存周期...
DAS Auto Scaling实现了一套完整的数据闭环，如下图所示：在该数据闭环中，包含性能采集模块、决策中心、算法模型、规格建议模块、管控执行模块和任务跟踪模块，各模块的具体功能如下：性能采集模块负责对实例进行实时性能数据采集，涉及...
tag_:_hostname_STRING Logtail采集数据的来源机器主机名，Logtail为日志自动追加该字段。操作步骤 进入数据开发页面。登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后...
数据业务属性及重要程度如何？是否做了相应的分级分类？说明 此处的资产不单单局限于结构化、非结构化数据资产，还包括硬件资产、IAAS/PAAS/SAAS、甚至人员资产，因为任意一个资产被攻破，都会导致企业关键信息被侵害。这些资产存在哪些...
为满足企业自定义管理日志的需求，PolarDB 联合日志服务SLS推出了数据订阅功能，可以将您拥有的所有 PolarDB MySQL版 集群日志投递到日志服务SLS的中心化项目中统一进行管理。本文将介绍 PolarDB MySQL版 集群日志订阅和日志查看的方法。...
场景 说明 特点 大量事件日志实时写入MaxCompute 日志采集数据直接写入MaxCompute进行批量处理。无需通过中间存储服务做中转，节约成本。流式计算结果实时写入MaxCompute 流式服务写入MaxCompute解除并发数及 batch size 的限制。解决高...
当您成功在DMS上登录数据库后，可在SQL Console中进行创建数据库、创建表、查询表数据、变更表数据等操作。本文以在RDS MySQL数据库中进行操作举例。创建数据库 在RDS控制台创建数据库 访问 RDS实例列表，在上方选择地域，然后单击目标实例...
本文档将引导您完成使用阿里云数据传输服务（DTS）从MySQL数据库同步数据的全过程，整个过程可以归纳为七大核心步骤。步骤一：准备工作 在配置同步任务前，请完成以下准备工作，确保任务顺利执行。（可选）接入阿里云：请您先确保业务环境...
（同步元数据）：单击该按钮后，DMS将采集数据库上最新的表、字段、索引、可编程对象等元数据信息，用于实现表、字段、可编程对象的权限分级管控，更多信息，请参见 元数据。（导出）：通过导出功能可导出数据库、数据库的表结构或建表语句...
采集Open-Falcon数据 Open-Falcon是一款企业级、高可用、可扩展的开源监控解决方案，用于监控服务器的状态，例如磁盘空间、端口存活、网络流量等。采集ping和tcping数据 介绍通过Logtail采集ping和tcping数据到日志服务Metricstore的操作...
下载采集器：如果源库不能对外使用公网，或者无法从云上去访问，可以通过ADAM数据采集器采集数据库。更多信息，请参见 采集器采集。在线采集 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 Data+AI 异构数据库迁移（ADAM）数据库评估。在 ...
数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标画像，单击 下一步查看目标库选型建议，查看目标库兼容情况和推荐类型。具体操作，...
代码来源 采集口径 触发采集方式 数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发（旧版）数据开发（旧版）-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据...
本文对数据管理控制台中...关闭、退出服务器管理界面，会自动停止“实时监控”数据的采集。数据管理控制台页面，显示的服务器监控数据，是每隔30秒获取一次数据，如下图所示。关闭数据管理控制台的页面，会自动停止控制台监控数据的采集。
请使用 ADAM 数据库采集器采集的 ZIP 包进行上传并创建画像。画像报错，采集数据中缺乏某信息？ADAM 画像必须分析完整的采集数据，如果缺乏某些必要信息，请重启采集或联系 ADAM 工作人员。画像内容，如何查看兼容度？ADAM 数据库画像主要...
开启后，根据 采样配置 数据源 的采集范围，执行时自动进行样例数据采集，支持修改采集范围。单击 下一步，配置采集策略。参数 描述 数据更新策略 新增/变更元数据 对比上一次采集，若源系统有新增、更新的数据，系统将会 添加新的元数据，...
数据采集计划 采集频率 用于控制任务采集的频率，支持 定时采集 和 手动采集。定时采集：根据配置的调度时间自动执行任务的采集，适用于对采集任务更新时效性较高的场景，支持 每日、每周、每月，可配置的定时开始执行时间区间为00:00～23:...
数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口，用于接入三类核心数据源：业务系统数据库（如商品中心、交易中心、品牌库）。埋点数据。日志数据。选型理由：支持多种异构数据源，高兼容性与扩展性。提供可视化调度能力...
一级菜单 二级菜单 说明 元数据采集 采集概览 元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres等，可一览不同数据源类型已创建的采集任务、已创建的数据源、采集对象类型和支持的版本。采集任务 通过采集适配...
一级菜单 二级菜单 说明 元数据采集 采集概览 元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres等，可一览不同数据源类型已创建的采集任务、已创建的数据源、采集对象类型和支持的版本。采集任务 通过...
敏感数据保护：为保证数据库的敏感信息不被泄漏，数据采集器会对采集到的数据进行脱敏。兼容性分析：源库特性匹配：识别对象使用了哪些特性，并给出在目标库上的解决方案。源库使用场景匹配：针对一些特定的使用场景（通常可能会影响性能）...
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 自动抽样...
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储于MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
为您展示本次采集对比上一次采集成功后元数据清单的变动情况，包括数据源、采集范围、采集策略、对象统计、新增对象统计、更新对象统计、删除对象统计、表明细、视图明细、字段明细信息。对象统计：为您展示本次采集成功后，从指定数据来源...
为您展示本次采集对比上一次采集成功后元数据清单的变动情况，包括数据源、采集范围、采集策略、对象统计、新增对象统计、更新对象统计、删除对象统计、表明细、视图明细、字段明细信息。对象统计：为您展示本次采集成功后，从指定数据来源...
手动输入数据 适用于采集的数据比较少，或者需要修改已采集到的数据的场景。自动抽样数据 自动抽样到的数据是随机的，所以适用于对采集到的数据没有限制的场景。针对 HBase、MaxCompute、DataHub、Kafka数据源支持自动抽样数据，您可单击 ...
1.数据库评估 数据库采集 数据库画像 目标库选型建议 数据库评估分析 基于以上操作，可以评估出Oracle库适合迁移的目标库及兼容度、改造工作量、成本等，用户可根据数据库评估分析里 对象兼容度 详情和 SQL兼容度 详情，根据指导建议自助...
在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
核心概念 名词 说明 相关文档 准资产 通过采集适配器指定数据源采集的资产和从数据中台获取的资产，您可以根据业务场景判断是否上架，如需上架，需完善资产属性，包括设置上架的目标专题及目录、设置资产的可见范围以及是否允许查看数据...
本文解释一些数据库采集问题。采集对数据库压力大吗？采集过程全部都是读取操作，唯一消耗CPU资源的操作来自于getddl操作，一般压力都很小。但为了采集顺利进行，建议在业务低峰期执行，否则容易出现Socket Timeout的超时错误（采集sql无法...
DBGateway：DBGateway是部署在用户环境中的守护进程，负责数据库性能数据的采集和计算。但它不读取业务数据，且数据传输会进行加密压缩。更多关于DBGateway的信息，请参见 数据库网关。索引：索引是数据库管理系统对数据库表中一个或多个列...
在 数据源视角 的 Lindorm 采集器中配置元数据采集计划，即可采集Lindorm表的元数据信息，详情请参见 元数据采集。查找表 等待Lindorm元数据采集计划执行成功后，您可通过以下步骤查看所采集的Lindorm表元数据信息。单击左侧的菜单栏的 ...
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。版本限制 仅DataWorks标准版及以上版本支持代码搜索、...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能...
支持选择业务系统、数据采集层、数据加工层、数据应用层、数据服务（API）、报表应用。业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中...
支持选择业务系统、数据采集层、数据加工层、数据应用层、数据服务（API）、报表应用。业务系统：源数据层，是组织中各个业务系统（如ERP系统、CRM系统、生产系统等）产生和存储数据的地方。数据采集层：负责从多个业务系统或外部数据源中...
二、查看表详情 在采集对应数据源完成后，需要通过搜索来查询已采集到的用户画像分析流程中的表，以查看表的详情。搜索对应表 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据目录 数据地图，在 数据地图 详情页面中单击 ...