基于云计算技术的大数据管理平台

_相关内容

逻辑数仓一键JDBC

您可通过 数据管理DMS 逻辑数仓的一键JDBC功能,在应用程序中安全地访问逻辑数仓。您可使用标准的MySQL、HTTPS协议直接连接一键JDBC生成的代理地址,安全地访问逻辑数仓。本文介绍一键JDBC的应用场景、开启或关闭一键JDBC的操作步骤。应用...

流式ETL

数据传输服务DTS提供的流式数据ETL(Extract Transform Load)功能是一种高效的实时数据加工工具。ETL支持通过可视化拖拉拽操作、Flink SQL语句配置任务,并结合DTS的高效流数据复制能力,可以实现流式数据的抽取、数据转换和加工、数据...

配置DTS数据迁移节点

操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>集成与开发(DTS)>数据开发>任务编排。在顶部菜单栏中,选择...

无锁结构变更方案对比

有无触发器对比 有触发器:基于触发器设计的工具代码逻辑相对简单,部分数据上的工作交给了触发器去完成,包含数据库的隐式处理、数据类型以及切换等相关操作,简化了进行实时表迁移的大量流程。无触发器:无触发器设计最大的优点是和...

测试数据构建

数据管理DMS的测试数据构建功能拥有强大的算法引擎,支持批量生成各类随机值、地区名、虚拟IP地址等信息,可以大大减轻准备测试数据的负担。本文介绍构建测试数据的方法。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、...

创建项目空间

数据管理DMS数仓开发通过项目空间、业务场景和任务流三级目录讲行项目管理,同时支持数仓分层管理,有利于清晰地管理某一情景下的数据仓库管理需求,充分满足各类复杂的数仓开发和管理需求。项目空间是数仓开发、管理和运维的基本单位,...

查询备份数据

操作步骤 登录 数据管理DMS 5.0。登录目标实例。在首页左侧数据库实例区域的搜索框中,输入目标实例名称、地址或数据库名称。单击实例名称下的 图标。在 登录实例 对话框中,输入 数据库账号 和 数据库密码。单击 确认。系统自动跳转至SQL ...

配置管理

数据管理DMS开放了系统层面的配置,管理员角色可通过对这些配置进行更改,来实现更灵活的管理需求。本文档介绍配置管理的方法。前提条件 系统角色为管理员。查看系统角色的具体步骤,请参见 查看我的系统角色。操作步骤 登录 数据管理DMS 5...

SQL审核最佳实践

数据管理DMS 的SQL审核功能,支持对SQL语句进行批量审核并提供优化建议,避免无索引或不规范的SQL语句,降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例,向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...

SQL结果集导出

数据管理DMS 支持导出SQL结果集,您可以在DMS中按需编写查询的SQL语句,提取并导出相关数据。前提条件 数据库类型如下:数据库类型 关系型数据库:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、其他来源MySQL SQL ...

访问IP白名单

数据管理DMS 提供的访问IP白名单功能,可以有效管控企业内员工使用 DMS,且在部分特定信任网络环境下使用该功能,达到预期的管理效果。本文介绍该功能的使用场景、功能介绍以及常见问题的解决方法。使用场景 建议在企业宽带环境下使用,...

增强E-R

数据管理DMS 的增强E-R功能基于DMS自研的统一Catalog的元数据采集引擎、列算子血缘解析引擎(解析字段间关联、依赖和影响关系的引擎)和数据资产知识图谱构建等核心能力,可清晰地展现您名下某个数据库内资产之间的关联关系。本文介绍了...

图表管理

创建图表 登录 数据管理DMS 5.0。在控制台首页顶部菜单栏中,选择 集成与开发(DTS)>数据应用>数据可视化(老)。在左侧图标中选择并单击 图表。在图表管理页,单击 图标。选择目标数据集。单击页面右上角的 保存。修改图表 登录 数据管理...

逻辑数仓

数据管理DMS提供的逻辑数仓具有强大的数据源管理能力,可以实现将企业的异构数据源进行逻辑聚合,形成物理分散、逻辑统一的虚拟数仓,然后快速地提供数据分析和访问服务,满足业务人员、BI分析师、运营人员等各种角色的需求。背景信息 企业...

配置ECS远程命令节点

操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。说明 若您使用的是极简模式的控制台,请单击左上角的,选择 全部功能<集成与开发(DTS)<数据开发<任务编排。单击目标任务流名称,进入任务流...

逻辑表

当业务达到一定规模后,需要通过分库分表来进行负载均衡,从而达到在大量业务压力场景下具有平滑支撑的...A:在 数据管理DMS 控制台首页顶部导航栏中,单击 图标,进入全局搜索页面,找到目标逻辑库,单击 操作 列下的 更多>重新抽取该表。

通过HTTPS协议访问实例

说明 若希望避免安全规则的限制,请使用数据库控制台提供的连接地址访问数据库,或联系DMS技术支持评估具体场景。如果是非安全协同实例,不支持自主配置查询最大返回行数。默认查询最大返回行数为3000。请求参数说明 参数名 含义 是否必须 ...

数据服务概述

DMS数据服务支持将企业托管在DMS上的数据快速迁移至外部。设计理念 数据服务作为DMS的模块,其基于DMS上受控的数据定义API,与SQL Console中执行SQL时的权限控制、数据脱敏等功能检查保持一致。数据服务基于Serverless架构,您无需关注...

名词解释

DMS数据可视化产品名词解释。名词 说明 维度 维度是度量的环境,用来反映业务的一类属性,如时间、地域、性别、类别等等,是一组离散的值。度量 即被聚合(观察)的统计值。是聚合运算的结果,如UV(用户数)、交易金额等经过统计的数值。...

配置工单审批消息

数据管理DMS产品内的工单审批消息和工单执行状态,可通过钉钉和邮件两种方式通知到您。本文为您介绍接收钉钉和邮件通知的详细配置流程。优势比对 对比项 钉钉消息通知(推荐)邮件消息通知 支持的对象 阿里账号(主账号)RAM用户(子账号...

配置离线数据集成节点

操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。单击目标任务流名称,进入任务流详情页面。说明 如果您需要新增任务流,请参见 新增任务流。可选:单击 图标,您还可以展开任务流基本信息配置...

同数据库归档

数据归档 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 解决方案>数据归档。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>解决方案>数据归档。在页面右上角,单击 数据归档。在 新建数据归档工单 页面,...

【通知】数据库网关DG下线通知

DG下线后的计划 DG下线后,将作为数据传输服务DTS、数据库备份DBS、数据管理DMS 产品的基础组件,用于将他或自建数据库接入至DTS、DBS、DMS 中。原DG控制台将会统一迁移至DMS中。影响与建议 场景 下线影响 建议 通过DG接入的数据库作为...

CreateProxy-开启数据安全访问

调用CreateProxy接口,开启实例的数据安全访问功能。接口说明 实例的数据库类型为 MySQL 与 MariaDB,包括阿里 RDS MySQL 引擎、PolarDB MySQL 引擎、PolarDB-X、AnalyticDB MySQL,也支持自建 MySQL 与 MariaDB 库、第三方云 MySQL 与 ...

自定义SQL Console的使用规范

进入安全规则详情页 管理员登录 数据管理DMS 5.0。在顶部菜单栏中,选择 安全与规范>安全规则。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>安全与规范>安全规则。单击 POC开发库规则右侧 操作列下的 ...

访问数据分析功能

通过顶部菜单栏直接进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据应用>数据分析。通过数据库的SQL窗口进入数据可视化 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 SQL窗口>SQL窗口。说明 若您搜索不...

回收表碎片空间

回收表碎片空间 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 数据库开发>数据变更>无锁变更。说明 若您使用的是极简模式的控制台,请单击左上角的,选择 全部功能>数据库开发>数据变更>无锁变更。配置无锁结构变更工单。具体操作,请参见 ...

表结构发布流程化

登录 数据管理DMS 5.0。在顶部菜单栏中,选择 安全与规范>权限中心>权限模板。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>安全与规范>权限中心>权限模板。在 安全规则 页面中,单击左上角的 新增规则集...

DMS服务关联角色

本文介绍 数据管理DMS 服务关联角色(AliyunServiceRoleForDMS)的应用场景以及如何删除服务关联角色。背景信息 DMS 服务关联角色是一种 RAM角色(RAM role)。在某些场景下,该角色可以帮助 DMS 获取到其他云服务的访问权限,来实现自身的...

UpdateAuthorityTemplate-更新权限模板

接口说明 您在数据管理 DMS 中的系统角色为管理员或 DBA。查看系统角色的具体操作,请参见 查看我的系统角色。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...

使用DTS和DG迁移、同步或订阅本地或第三方云数据库

数据管理DMS提供了通过数据库网关录入第三方云数据库的功能,无需开放数据库的公网地址即可完成连接,对数据传输进行安全加密,同时免防火墙配置,大大降低使用门槛。了解更多数据库网关的信息,请参见 什么是数据库网关。操作步骤 创建...

任务编排

本文介绍如何使用 数据管理DMS 任务编排的单实例SQL节点,将源表中6个月前的数据(历史数据)迁移(归档)至目标表中,并删除源表中已迁移的数据。应用场景 DMS 的任务编排功能提供了强大的自动化编排和调度能力,满足数据同步、数据归档、...

商品订单

登录 数据管理DMS 5.0。在顶部菜单栏中,选择,单击 DMS订单管理。说明 若您使用的是DMS极简模式控制台,请选择页面右上角的账号头像,单击 计费相关>DMS订单管理,查看购买规格详情。在 购买规格详情 弹窗中,查看已购买的管控模式(安全...

权限管理

通过实例管理功能管理数据库、表权限 数据Owner、管理员、DBA管理权限 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 数据资产>实例管理。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>数据资产>实例管理...

CreateAuthorityTemplate-创建权限模板

接口说明 您在数据管理 DMS 中的系统角色为管理员或 DBA。查看系统角色的具体操作,请参见 查看我的系统角色。调试 您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码...

新增脱敏算法

操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 安全与规范>敏感数据管理>规则配置。说明 若您使用的是极简模式的控制台,请单击控制台左上角的 图标,选择 全部功能>安全与规范>敏感数据管理>规则配置。选择 脱敏算法 页签,单击 ...

配置跨库Spark SQL节点

操作步骤 登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。单击目标任务流名称,进入任务流详情页面。说明 如果您需要新增任务流,请参见 新增任务流。在画布左侧 任务类型 列表中,拖拽 跨库Spark SQL ...

数据管理服务协议

数据管理服务协议》是阿里云计算有限公司(以下简称“阿里云”)与您就数据管理服务的相关事项所订立的有效合约。《数据管理服务协议》以下或简称“本服务协议”、“服务协议”或“本协议”。背景信息 在接受本协议之前,请您仔细阅读...

表结构设计规范

数据管理DMS 提供的表结构设计规范中的字段存在性保障功能,帮助您后续进行数据分析、数据清理等操作。本文介绍通过配置安全规则完成保障字段存在性的操作步骤。前提条件 系统角色为管理员、DBA。查看系统角色的具体方法,请参见 查看我的...

SQL窗口-关系型数据库

数据管理DMS安全规则提供的SQL窗口模块支持关系型数据库和非关系型数据库。本文以关系型数据库MySQL为例,介绍配置SQL窗口规则的方法。SQL窗口模块检测点 检测点 规则说明 基础配置项 规则集的基础配置,包括单次查询最大返回行数、结果集...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用