企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中,管理员可以高效管理数据资产及资产中的敏感数据。本文介绍如何使用数据域功能分类管理资产。...
DataWorks的数据溯源功能,支持通过提取数据泄露文件中数据的水印信息,帮助您定位到可能会泄露目标数据的责任人。本文为您介绍如何创建溯源任务,并通过该任务查找可能会泄露数据的责任人。前提条件 已创建 数据识别规则,详情请参见 配置...
支持丰富的数据源:Hive Cassandra Kafka MongoDB MySQL PostgreSQL SQL Server Redis Redshift 本地文件 支持高级数据结构,具体如下:数组和Map数据 JSON数据 GIS数据 颜色数据 功能扩展能力强,提供了多种扩展机制:扩展数据连接器 ...
为了保证DataWorks成功读取完整的外部数据库的数据,此时,可以让其他调度系统在数据库中的数据写入任务完成后,在指定文件系统中进行文件标记(例如,生成一个.done 文件),表明该任务已完成。然后在DataWorks中配置一个OSS对象检查节点...
ECS自建数据库 配置 说明 示例图片 选择已有连接信息 若您需要使用 已录入系统(新建或保存)的数据库实例,请在下拉列表中选择所需的数据库实例,下方的数据库信息将自动进行配置。说明 若您在DMS控制台,则配置项为 选择DMS数据库实例。...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
计算分析一体化:传统数据分析方案是定期从OLTP系统抽取数据同步到OLAP系统,有些可以做到准实时同步。该方案带来的问题是部署复杂,实时性低,数据冗余和高成本。理想情况是一套HTAP系统同时提供计算和分析。大数据与数据库一体化:早期大...
AnalyticDB for MySQL 支持高吞吐的数据实时增删改、低延时地实时分析复杂 ETL(Extract Transform Load),兼容上下游生态工具,可用于构建企业级报表系统、数据仓库 和数据服务引擎。AnalyticDB for PostgreSQL:云原生数据仓库...
支持高级数据结构,具体如下:数组和Map数据 JSON数据 GIS(Geographic Information System)数据 颜色数据 功能扩展能力强,提供了多种扩展机制:扩展数据连接器 自定义数据类型 自定义SQL函数 流水线:基于Pipeline处理模型数据在处理...
若数据库的Binlog未开启或数据库登录状态异常,系统将无法获取日志文件。数据追踪功能仅支持追踪DML数据变更的数据,不支持追踪DDL结构变更的数据。美国地域的DMS 暂不支持此功能。操作步骤 登录 数据管理DMS 5.0。单击控制台左上角的 图标...
权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 系统角色创建数据源。操作步骤 在Dataphin首页的顶部菜单栏,选择 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。...
数据源:支持关系型数据库和大数据存储数据库,详情请参见 Dataphin支持的数据源。应用系统:目前仅支持Quick BI。选择需采集元数据的应用系统。您可以点击 查看,跳转至数据源管理页面,系统会为您筛选出相关的数据源。说明 若选中的数据...
解决方案 东软集团围绕运营商、政务云和汽车等行业新一代数字信息系统IT运维场景海量监控数据存储分析痛点,将从遍布全国多地域的手机、平板等终端连接应用系统业务服务的数字足迹和客户数字体验数据、云端&数据中心网络抓包分析数据,应用...
数据源:支持关系型数据库和大数据存储数据库,详情请参见 Dataphin支持的数据源。应用系统:目前仅支持Quick BI。选择需采集元数据的应用系统。您可以点击 查看,跳转至数据源管理页面,系统会为您筛选出相关的数据源。说明 若选中的数据...
当数据库出现存储空间不足、表数据量过大导致查询速度变慢等情况时,您可以使用数据管理DMS提供的历史数据清理功能,定期清理历史数据,以提高数据库查询性能和响应速度、避免因存储空间不足而导致数据库性能下降及历史数据堆积对生产环境...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
说明 如果您在DMS控制台使用了 数据归档 功能,系统会在 数据灾备(DBS)创建按量付费的备份计划。该备份计划会按实际备份的数据量进行收费。计费详情,请参见 备份费用。如果备份库表存在表结构不合理、大表、大字段等情况,备份计划规格...
Lindorm通过 compaction 机制异步将冷数据从热存储归档至冷存储,系统触发时间默认为冷热分界线的一半,最小为1天,最大为 major compaction 周期的一半,major compaction 周期默认为20天。例如,冷热分界线为3天,则默认1.5天就会自动...
MaxCompute支持使用外部表功能查询和分析存储于OSS等外部存储系统的数据。该机制使得用户可以无需将数据导入到MaxCompute内部存储,直接对外部数据进行操作,从而提供了数据处理的灵活性和方便性。背景信息 MaxCompute SQL作为分布式数据...
最多加载:自定义输入数据加载限制数量,系统最多加载您输入的数据记录条数进行布局、绘制与计算,以保证可视化应用展示效果。翻牌器样式:翻牌器各种距离的样式。参数 说明 左边距 翻牌器离图表最左侧的距离。右边距 翻牌器离图表最右侧的...
散点图是使用散点来展示数据的一种图表,支持自定义x轴、y轴以及散点的样式,支持多系列数据配置,支持提示框交互和动画效果展示,适用于展示不同时间下离散数据的差异。本文介绍散点图各配置项的含义。配置 重要 本文介绍v3.x版本的散点图...
购买数据库审计实例后,您可以通过以下操作配置数据库审计服务:启用数据库审计实例 管理数据库审计实例 登录数据库审计系统 添加数据库实例 部署Agent程序 更多信息,请参见 A100快速入门。如何测试数据库审计网络连通性?数据库审计外网...
Linux系统:netstat-ano|grep 数据库端口号 Windows系统:netstat-ano|findstr 数据库端口号 正常有连接建立,监听状态应该为 ESTABLISHED,其中数据库端口对应的IP是目前有连接的数据库IP,确保该IP和数据库审计系统上配置的资产IP(或IP...
权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 系统角色创建数据源。操作步骤 在Dataphin首页的顶部菜单栏,选择 管理中心 数据源管理。在 数据源 页面,单击+新建数据源。...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
数据传输服务DTS(Data Transmission Service)支持将云数据库OceanBase版或自建OceanBase(MySQL模式)的数据迁移到云原生多模数据库Lindorm实例的宽表引擎中。本文以已开通公网访问权限的自建OceanBase(MySQL模式)为源库,为您介绍迁移...
最多加载:自定义输入数据加载限制数量,系统最多加载您输入的数据记录条数进行布局、绘制与计算,以保证可视化应用展示效果。柱图样式:柱图中每个柱子的样式。柱脚倾斜:梯形柱状图柱脚的倾斜幅度。值标签:每个柱子值标签的样式,可单击...
在数据库审计系统查看审计日志 步骤一:登录数据库审计系统 登录数据库审计系统。具体操作,请参见 登录数据库审计系统。在左侧导航栏,选择 查询分析 审计日志。步骤二:设置查询条件 审计查询功能可以帮助您准确定位到具体操作或语句。您...
最多加载:自定义输入数据加载限制数量,系统最多加载您输入的数据记录条数进行布局、绘制与计算,以保证可视化应用展示效果。柱图样式:柱图中每个柱子的样式。装饰 参数 说明 装饰线 装饰线的颜色。装饰形状 装饰五边形内部的填充颜色和...
任务监控与定位处理 数据建模:智能数据建模 智能数据建模是阿里云DataWorks自主研发的智能数据建模产品,沉淀了阿里巴巴十多年来数仓建模方法论的最佳实践,包含数仓规划、数据标准、维度建模及数据指标四大模块,帮助企业在搭建数据中台...
最多加载:自定义输入数据加载限制数量,系统最多加载您输入的数据记录条数进行布局、绘制与计算,以保证可视化应用展示效果。柱图样式:柱图中每个柱子的样式。线条:每个小横线(斑马纹)的粗细和线之间的距离。值标签:每个柱子值标签的...
数据源 单击 配置数据源,可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果,详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
在对数据库进行变更操作时,可能因误更新、误删除或误写入等操作导致数据异常。此时,您可通过DMS的数据追踪功能,在Binlog保存时长内定位目标时间段的变更记录,并生成回滚脚本,快速恢复数据至变更前状态。相比 恢复全量数据 和 恢复库表...
PolarDB MySQL版 集群是具备高性能、海量存储、安全可靠的数据库服务,本文为您介绍如何使用数据传输服务DTS(Data Transmission Service)将OceanBase数据库迁移至 PolarDB MySQL版 集群。前提条件 源OceanBase数据库须为DTS支持的版本。...
若源库为自建OceanBase数据库:若需要迁移增量数据,则需要在OceanBase数据库所在服务安装oblogproxy(增量日志代理服务)并配置系统租户,详情请参见 安装部署oblogproxy。带宽要求:源库所属的服务器需具备足够的出口带宽,否则将影响...
为了保证DataWorks成功读取完整的外部数据库的数据,此时,可以让其他调度系统在数据库中的数据写入任务完成后,在指定文件系统中进行文件标记(例如,生成一个.done 文件),表明该任务已完成。然后在DataWorks中配置一个FTP Check节点,...
是否支持额外付费购买更多 日志存储量 不支持 不支持 支持 支持 支持 支持 系统设置 功能 免费版 7天免费试用版 高级版 企业版 数据库审计(等级保护合规版)仅采购增值服务版 系统设置 告警通知 支持 支持 支持 支持 支持 支持 系统设置 ...
数据源视角 可以根据所属DB/Schema、资产标签、来源系统、数据源类型、湖表格式、数据源、表类型、所属环境进行筛选或快捷隐藏已删除表。来源系统视角 可以根据数据源、资产标签、DB/Schema、来源数据源类型、来源系统、表类型、所属环境...
流式气泡层是基础平面地图的子组件,支持独立的样式和数据配置,包括气泡的大小、位置、颜色、动画效果以及经纬度等,能够以流式气泡的形式表现地理位置上的点数据信息。本文介绍流式气泡层各配置项的含义。注意 当前为v1.x版本的流式气泡...
数据源视角 可以根据所属DB/Schema、资产标签、来源系统、数据源类型、湖表格式、数据源、表类型、所属环境进行筛选或快捷隐藏已删除表。来源系统视角 可以根据数据源、资产标签、DB/Schema、来源数据源类型、来源系统、表类型、所属环境...