本文介绍数据安全中心数据脱敏功能相关的常见问题和解决方案。静态脱敏是否对原始数据有影响?...静态脱敏功能只会对数据进行读取、脱敏后保存到您选择的目标位置,不会对源数据进行改动。是否支持脱敏图片类型的数据?不支持。
基本概念 内部数据:保存在StarRocks中的数据。外部数据:保存在外部数据源(例如Apache Hive、Apache Iceberg和Apache Hudi)中的数据。Catalog StarRocks 2.3及以上版本支持Catalog功能,方便您轻松访问并查询存储在各类外部源的数据。...
数据管理DMS 提供灵活布局和丰富的自定义样式能力,并提供大量可视化组件和内置辅助图形,帮助您快速实现可视化大屏。说明 数据可视化功能即将下线,建议您在功能下线前将数据集、图表和仪表盘迁移到数据分析功能。更多信息,请参见【通知...
不支持 不支持 PAI 支持除Decimal之外的其它数据类型 2.0新增的数据类型中仅支持INT 部分功能支持map数据类型 不支持 不支持 PyODPS 支持 DataFrame不支持2.0数据类型 其它功能都支持2.0数据类型 支持 DataFrame不支持2.0数据类型 其它功能...
此方法适用于海量数据场景,对数据量不设上限,同时支持行、列和TEXTFILE等各种存储格式以及用户自定义分区配置。DataWorks数据集成 通过DataWorks配置离线同步节点和同步任务将日志数据同步至MaxCompute。详情请参见 通过DataWorks数据...
存储 众所周知,大数据系统以数据类型多(结构化、非结构化、半结构化)、数据量大(动辄PB级别)著称,某些巨头组织一天就能新增数十万甚至数百万张表,如此体量给数据分级分类带来了极大挑战,通过人工进行数据分级分类显然是不现实的,...
OSS 实时 No 同步数据到对象存储OSS指定Bucket的文件中,将以csv格式保存 ElasticSearch 实时 Yes 同步数据到ElasticSearch指定Index中,Shard之间数据同步不保证时序,所以需将同样ID的数据写入相同的Shard中 MySQL 实时 Yes 同步数据到...
其中,第4条“维护数据安全,应当坚持总体国家安全观,建立健全数据安全治理体系,提高数据安全保障能力”和第7条“国家保护个人、组织与数据有关的权益,鼓励数据依法合理有效利用,保障数据依法有序自由流动,促进以数据为关键要素的数字...
关键性里程碑 2009年9月,ODPS(即现在的MaxCompute)大数据平台飞天项目正式启动。2010年10月,阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月,平台的单集群规模已达到5000台。2014年7月,平台开始对外提供服务,完全替换...
背景信息 同一个名称的数据源存在开发环境和生产环境两套配置,在配置数据源时,您可基于标准模式工作空间对应底层两个数据库或数据仓库的背景,针对不同环境设置不同的数据源信息。在同步任务执行过程中,可由执行环境控制离线同步任务所...
MaxCompute提供多种渠道,以便您从业务系统或外部数据源写入数据到MaxCompute,或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表(湖仓一体)JDBC渠道 场景数据写入MaxCompute 离线数据批量写入(数据...
进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for MySQL3.0的能力,您可将其他数据源的数据同步至当前AnalyticDB for MySQL3.0数据源,或将当前AnalyticDB for MySQL3.0数据源的数据同步至其他数据源。...
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页,单击顶部菜单栏 资产。按照下图指引,进入 新建数据分级 对话框。在 新建数据分级 对话框,配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...
数据分级用于定义数据在安全领域的安全等级。新建数据分级 在Dataphin首页,单击顶部菜单栏 资产。按照下图指引,进入 新建数据分级 对话框。在 新建数据分级 对话框,配置参数。参数 描述 分级名称 数据分级的名称。支持汉字、字母、数字...
进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至AnalyticDB for PostgreSQL的能力,您可将其他数据源的数据同步至当前AnalyticDB for PostgreSQL数据源,或将当前AnalyticDB for PostgreSQL数据源的数据同步至其他数据源。...
完成自定义数据源类型后,您可将该类型的数据源接入到Dataphin中,为后续进行集成开发做准备。前提条件 已有自定义数据源类型。具体操作,请参见:新建离线自定义源类型。新建实时自定义源类型。操作步骤 请参见 数据源管理入口,进入 数据...
同一份数据以不同的格式保存,数据所占用的存储空间不同,使用DLA扫描数据时所花费的时间和费用也不同。通常情况下,同一份数据以ORC格式和PARQUET格式存储时,其数据扫描性能要优于普通文本CSV格式。因此,您可以将文本类型的数据转换为...
说明 通常情况下,生产数据源和开发数据源需配置非同一个数据源,以使开发数据源与生产数据源的环境隔离,降低开发数据源对生产数据源的影响。但Dataphin也支持配置成同一个数据源,即相同参数值。参数 描述 Endpoint RocketMQ实例的...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...
数据资产等级定义 根据数据质量不满足完整性、准确性、一致性、及时性时,对业务的影响程度划分数据的资产等级。通常,划分为5个性质的等级:毁灭性质:数据一旦出错,将会引起重大资产损失,面临重大收益损失等。标记为A1。全局性质:数据...
关联数据将一些具有相同或类似属性的资源划分到一个组内,方便您对这些资源进行批量设置。数据库审计支持管理IP组、数据库账号组、应用用户组、时间组和对象组以及人员。本文介绍如何使用关联数据功能。背景信息 在 关联数据 页面定义了...
进行数据同步:DataWorks的数据集成模块为您提供读取和写入数据至MaxCompute的能力,您可将其他数据源的数据同步至当前MaxCompute数据源,或将当前MaxCompute数据源的数据同步至其他数据源。同时,可根据需要选择离线同步、实时同步、同步...
通过创建DataHub数据源能够实现Dataphin读取DataHub的业务数据或向DataHub写入数据。本文为您介绍如何创建DataHub数据源。背景信息 DataHub即阿里云流式数据服务DataHub,如果您使用的是阿里云流式数据服务DataHub,在对接Dataphin进行数据...
若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务,需先将已创建的数据源或集群绑定至数据开发(DataStudio)模块。绑定后,才可读取数据源或集群中的数据,并进行相关开发操作。前提条件 您需根据后续要开发和调度...
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica,在对接Dataphin进行数据开发时,您需要先...
什么是数据目录(Catalog)数据目录(Catalog)是数据湖构建(Data Lake Formation)的元数据最上层实体,它可以包含多个数据库。适用场景 主要适用于元数据隔离的场景,比如多个E-MapReduce集群,每个集群绑定不同的Catalog,每个EMR集群...
通过创建Vertica数据源能够实现Dataphin读取Vertica的业务数据或向Vertica写入数据。本文为您介绍如何创建Vertica数据源。背景信息 Vertica是一款基于列存储架构的数据库。如果您使用的是Vertica,在对接Dataphin进行数据开发时,您需要先...
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA,在对接Dataphin进行数据开发或将...
通过创建IBM DB2数据源能够实现Dataphin读取IBM DB2的业务数据或向IBM DB2写入数据。本文为您介绍如何创建IBM DB2数据源。背景信息 IBM DB2是一套关系型数据库管理系统。如果您使用的是IBM DB2,在对接Dataphin进行数据开发时,您需要先...
通过创建PostgreSQL数据源能够实现Dataphin读取PostgreSQL的业务数据或向PostgreSQL写入数据。本文为您介绍如何创建PostgreSQL数据源。权限说明 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源。操作...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源:如果业务数据源区分生产数据源和开发数据源,则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源,则选择 生产数据源。标签 您可根据标签给数据源进行分类...
通过创建Microsoft SQL Server数据源能够实现Dataphin读取Microsoft SQL Server的业务数据或向Microsoft SQL Server写入数据。本文为您介绍如何创建Microsoft SQL Server数据源。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块...
通过创建StarRocks数据源能够实现Dataphin读取StarRocks的业务数据或向StarRocks写入数据。本文为您介绍如何创建StarRocks数据源。背景信息 StarRocks是一款高性能分析数据库,支持实时、多维和高度并发的数据分析。StarRocks具有高度可...
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS,在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时,...
通过创建OSS数据源能够实现Dataphin读取OSS的业务数据或向OSS写入数据。本文为您介绍如何创建OSS数据源。背景信息 OSS即阿里云对象存储OSS。如果您使用的是阿里云对象存储OSS,在对接Dataphin进行数据开发或将Dataphin的数据写入至OSS时,...
通过创建OceanBase数据源能够实现Dataphin读取OceanBase的业务数据或向OceanBase写入数据。本文为您介绍如何创建OceanBase数据源。背景信息 OceanBase即阿里云数据库OceanBase,是阿里巴巴和蚂蚁金服100%自主研发的金融级分布式关系数据库...
通过创建PolarDB-X数据源能够实现Dataphin读取PolarDB-X的业务数据或向PolarDB-X写入数据。本文为您介绍如何创建PolarDB-X数据源。背景信息 PolarDB-X(原DRDS升级版)是由阿里巴巴自主研发的云原生分布式数据库。如果您使用的是PolarDB-X...
通过创建Amazon S3数据源能够实现Dataphin读取Amazon S3的业务数据或向Amazon S3写入数据。本文为您介绍如何创建Amazon S3数据源。背景信息 Amazon S3(Simple Storage Service)是亚马逊公司提供的一种云存储服务。它允许个人、组织和企业...
通过创建SAP HANA数据源能够实现Dataphin读取SAP HANA的业务数据或向SAP HANA写入数据。本文为您介绍如何创建SAP HANA数据源。背景信息 SAP HANA是一款具有高性能内存的应用平台。如果您使用的是SAP HANA,在对接Dataphin进行数据开发或将...