在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
服务内容 服务大类 服务类型 服务内容 大数据专家咨询服务 大数据技术架构方案咨询 为客户提供构建和优化大数据体系的技术架构方案咨询服务，覆盖离线/实时数仓体系建设管理、数仓建模管理，数据开发管理，数据安全管理、数据质量管理、...
实时数据通道 1.1 接入多种异构数据并投递到下游多种大数据系统 通过数据总线，您可以实时接入APP、WEB、IoT和数据库等产生的异构数据，统一管理，并投递到下游的分析、归档等系统，构建清晰的数据流，让您更好的释放数据的价值。...
通常，大数据系统中的工作流涉及多部门、多责任人且跨系统的数据，如何才能协调好这些业务系统准时、保质保量地产出数据，避免出现因业务系统宕机/脏数据导致数据延时产出、产出脏数据，关乎到企业数据业务的连续性问题甚至高层的信任问题...
但同步至大数据系统或传统数据库的数据，需要使用专业的数据同步系统。下图为您展示使用DataWorks数据集成完成OSS数据同步至大数据系统的解决方案流程。新建离线同步节点，详情请参见 通过向导模式配置离线同步任务。选择数据来源OSS进行...
HBase Ganos是什么 HBase Ganos是阿里云推出的一款包含管理 空间几何数据、时空轨迹、专题栅格、遥感影像的时空大数据引擎系统。系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法、遥感影像处理算法等，...
高效协同：提供覆盖数据全生命周期的 DevOps，内置阿里巴巴大规模实践的数据管控体系。保障数据安全的同时，提升企业研发效率。更多信息，请参见 产品优势。如何使用数据管理DMS 您可以通过以下方式使用DMS，进行数据资产管理、数据库开发...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
云原生数据仓库AnalyticDB PostgreSQL版 具备完善和开放的生态系统，支持无缝对接业界以及阿里云生态的数据管理工具，BI报表可视化工具，ETL工具，数据迁移工具，同时可以与业界流行的流式处理系统，日志类系统，大数据类系统，传统数仓及...
背景信息 在大数据生态系统中，Alluxio位于数据驱动框架或应用（例如Apache Spark、Presto、TensorFlow、Apache Flink和Apache Hive等）和各种持久化存储系统（例如HDFS和阿里云OSS）之间，使得上层的计算应用可以通过统一的客户端API和...
您只需在DMS控制台录入StarRocks实例的相关信息，即可轻松实现通过图形化的Web界面对StarRocks实例的高效管控与深度运维，极大提升数据管理体验及操作效率。本文为您介绍如何通过DMS连接StarRocks实例。背景信息 DMS是由阿里云提供的数据库...
本节为不熟悉关系数据库管理系统的人介绍 SQL 语言。将讨论创建、填充、查询和更新表等基本操作以及示例。还将讨论视图、外键和事务等更高级的概念。PolarDB PostgreSQL版（兼容Oracle）是关系数据库管理系统（RDBMS）。这意味着它是用于...
业务挑战 大部分阿里云用户会将阿里云关系型数据库RDS、PolarDB for MySQL、MongoDB或者云服务器ECS自建数据库作为业务系统数据库，随着业务数据的增长，业务数据库存储的数据也越来越多。但RDS、PolarDB for MySQL、MongoDB或者ECS自建...
开放平台扩展程序 扩展程序概述 测试应用扩展程序 流程管控展示 数据治理检查项 数据治理中心概述 配置治理项 数据建模：数据建模系统管理 说明 标准模式工作空间的发布操作默认为同空间发布，若您存在跨空间、跨云发布场景，则可选择使用...
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
Dataphin支持通过自定义扩展治理项规则的方式，助您构建企业内部的治理规范，并支持将治理规范纳入到数据资产管理体系中。治理项的管理流程如下：元数据管理：配置和管理数据治理所需要的元数据指标。治理项管理：基于元数据指标，配置和...
Lindorm宽表引擎在集群管理系统中提供了SQL查询入口，您可以使用SQL语法来查询Lindorm宽表数据。本节介绍通过集群管理系统查询宽表数据。前提条件 已登录目标实例的集群管理系统，具体操作请参见 登录集群管理系统。使用限制 为确保数据...
DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
通过持续投入和积累，阿里云从2020年开始，连续三年荣获Gartner云数据库管理系统魔力象限全球领导者称号。在数据分析关键能力层面，下图为 云原生数据仓库AnalyticDB PostgreSQL版 在《2020 Gartner Critical Capabilities for Cloud ...
数据资产管理体系主要包括以下几个方面的内容。数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。...
数据资产管理体系主要包括以下几个方面的内容。数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。...
数据资产管理体系主要包括以下几个方面的内容。数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。...
查询表数据 在集群管理系统的左侧导航栏中，选择 数据查询>SQL执行器。在 namespace 下拉列表中选择命名空间，页面右侧会自动显示该命名空间中的表。在编辑器中输入SQL语句。单击 执行。说明 执行操作可以通过键盘完成。Windows系统：CTRL+...
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 成员管理 账号系统同步 Y Y N N N N N 查看成员列表 Y Y Y Y Y Y Y 查看成员详情 Y Y N N N N N 编辑成员信息 Y Y N N N N N 编辑角色 Y Y N N N N ...
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 成员管理 账号系统同步 Y Y N N N N N 查看成员列表 Y Y Y Y Y Y Y 查看成员详情 Y Y N N N N N 编辑成员信息 Y Y N N N N N 编辑角色 Y Y N N N N ...
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
大屏是数据管理DMS提供的两种可视化应用类型之一，提供自由布局和自定义样式能力，通过可视化组件和一系列内置辅助图形来打造视觉呈现丰富的可视化大屏。大屏的定位与仪表盘不一样，仪表盘倾向于快速打造可视化报表，而大屏通常被广泛用于...
通过创建Teradata数据源能够实现Dataphin读取Teradata的业务数据或向Teradata写入数据。本文为您介绍如何创建Teradata数据源。背景信息 Teradata是一款大型数据仓库系统。如果您使用的是Teradata，在对接Dataphin进行数据开发或导出...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。权限说明 仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据...
背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的插入更新和删除数据的能力。更多信息，请参见 Apache Hudi官网。权限说明 仅支持 超级管理员、数据源管理员、...
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
权限点 超级管理员 系统管理员 数据源管理员 安全管理员 质量管理员 板块架构师 普通成员 查看数据板块列表-Y 查看数据板块详情 Y Y N N N N N 新建数据板块 Y Y N N N N N 编辑数据板块 Y Y N N N 负责板块的 N 删除数据板块 Y Y N N N ...
G Ganos时空引擎 阿里云推出的一款管理空间几何数据、时空轨迹的时空大数据引擎系统。该系统兼容开源GeoMesa、GeoServer等生态，内置了高效的时空索引算法、空间拓扑几何算法等，结合 云原生多模数据库 Lindorm 宽表引擎强大的分布式存储...
本文为您介绍如何在系统管理中配置SQL查询、数据上传任务所使用的资源组。使用限制 仅支持阿里云主账号访问系统管理页面。系统管理中的配置仅在本租户的当前地域生效，并且您需确保SQL查询、数据上传任务使用的数据源和资源组网络连通。...
数据治理与数据管控 DMS任务编排提供了数据源的配置和管理功能，支持对数据源进行统一管理和控制，保证数据的安全性和可控性。数据归档与清理 将业务数据周期性地归档至低价存储并进行分析。任务调度 对定时、定期或事件触发的任务进行调度...
前提条件 系统角色为DBA或管理员。注意事项 删除实例后，用户将不能在DMS使用该实例下的数据库。删除实例后，用户针对该实例申请的权限将会失效并自动删除。删除实例操作只是取消了数据库实例与数据管理DMS控制台的关联，不影响实例本身。...
背景信息 FineBI是帆软软件有限公司推出的一款商业智能（Business Intelligence）产品，以业务需求为方向，通过便携的数据处理和管控，为业务人员和数据分析师提供自由的探索分析能力。您可以通过FineBI以可视化的形式进行多样化数据管理，...
数据库是所有企业业务的基座，企业内的研发、测试、运营和运维人员每天都需要对数据库进行操作或者查询，但是使用数据库的人员对数据库的了解程度参差不齐，所以数据库的稳定性不断受到如下问题的挑战。视频简介 数据库运维和管理的挑战 ...
背景信息 数据管理DMS 提供 自由操作、稳定变更、安全协同 三种管控模式，有关各管控模式的具体说明，请参见 管控模式介绍。操作步骤 登录 数据管理DMS 5.0。查看单个实例的管控模式。在DMS控制台页面左侧的实例列表区域的搜索栏中，搜索...
背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2，在对接Dataphin进行数据开发时，您需要先完成IBM DB2数据源的创建。更多IBM DB2信息，请参见 IBM DB2官网。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块...