避免云平台软件、管理人员（如DBA）、以及其他非授权人员接触到明文数据，做到了数据在数据库内的 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁，时刻保护用户数据，让云上数据成为...
避免云平台软件、管理人员（如DBA）、以及其他非授权人员接触到明文数据，做到了数据在数据库内的 可用不可见。结合阿里云强大的安全防护体系，全密态数据库能够有效防御来自云平台外部和内部的安全威胁，时刻保护用户数据，让云上数据成为...
案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色，请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组，...
通过阿里云E-MapReduce（简称EMR），您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。本文为您介绍在EMR on ECS上创建集群的操作步骤和相关配置，帮助您快速搭建和管理大数据集群。...
背景信息 E-MapReduce（简称EMR）新版控制台是EMR发布的下一代云原生开源大数据平台，为用户提供全新平台体验、全新开发平台、全新资源形态和全新分析场景。新版控制台的功能特点，详情请参见 EMR新版控制台上线公告。EMR on ECS作为EMR...
统一数仓构建：一个平台满足统一的数据仓库建设需求，简化繁琐的大数据软件栈。基于Doris构建的统一数仓，替换了原来由Spark、Hive、Kudu、Hbase、Phoenix组成的旧架构，架构大大简化。数据湖联邦查询：通过外表的方式联邦分析位于Hive、...
DataWorks不同版本的关键能力差异点如下：模块能力 标准版(对比基础版增加的能力)专业版(对比标准版增加的能力)企业版(对比专业版增加的能力)数据开发 控制节点/组件管理 代码评审 支持更大规模的开发 运维中心 智能基线 智能诊断、值班表...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据，并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据...
本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用，所有数据均为人工Mock数据。本教程使用 数据开发（Data Studio）（新版）进行数据加工。EMR环境准备 本教程需要您创建一个EMR集群并集成到DataWorks，以便在...
EMR on ECS是指在ECS上运行EMR，它将EMR的大数据处理能力与ECS的弹性灵活优势相结合，使得您能够更加便捷地配置和管理EMR集群，同时支持多种开源和自研大数据组件，适用于复杂的大数据处理和分析场景。产品架构 EMR主要由四部分组成，分别...
2024.09.24 OSS图片脱敏 列加密 新增 新增列加密服务，可以对RDS数据库表中已扫描识别的敏感数据列进行访问加密，避免非授权人员通过云平台软件或数据库连接工具直接访问到敏感数据明文，实现数据在数据库内可用不可见。2024.09.20 列加密 ...
阿里云基因分析平台（Genomics Computing Platform）是用户友好的基因分析一站式平台，端到端地提供数据传输、存储管理、生物信息分析等核心能力。平台支持GA4GH社区开放标准，集成丰富的流程工具和公共数据集，帮助用户安全高效、敏捷弹性...
一般都是一些被软件工程师用于为特定的软件包、软件实例、软件框架、硬件平台、操作系统、文档包等建立应用软件的开发工具的集合。MaxCompute支持 Java SDK 和 Python SDK。授权 项目管理员或者项目Owner可以授予其他角色对MaxCompute中的...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
解密过程：当StarRocks从ECS云盘读取数据时，会通过KMS解密数据密钥密文，获取数据密钥明文，再使用数据密钥明文解密数据密文，恢复原始数据。安全性与合规性 信封加密机制符合企业级数据安全标准，能够满足数据保护和隐私合规的要求。数据...
使用场景 交互式分析：利用Kyuubi可以构建企业级分析平台，用于对大数据进行交互式可视化分析，支持常见的计算框架。Kyuubi支持JDBC和ODBC接口，您可以直接通过SQL或通过BI工具来访问Kyuubi并高效地运行查询。Kyuubi可以在用户级别缓存后台...
成立以来，数据中心在多源数据融合应用方面做了许多探索，陆续建成了“上海市新能源汽车大数据平台”、“上海市动力电池溯源管理平台”、“上海市加氢站与氢燃料电池汽车公共数据平台”、“GEF6上海能源管理中心平台”，有效发挥了数据在...
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发等过程中灵活调用各类自定义函数和基础数据。自定义函数 支持对ETL函数自定义和管理，并与公共计算节点相关联，便于快速对数据进行ETL处理。函数资源 支持...
解决方案 玩物得志基于阿里云DataWorks+MaxCompute框架搭建大数据平台，使用其核心存储、计算等组件、上层可视化及业务查询能力，在开源方案的基础上进行了二次开发。解决方案架构如下。详细案例信息，请参见 玩物得志案例。互联网社交案例...
通过操作流程图及说明，您可以直观且全局了解自定义函数和数据基础库的操作流程。本文介绍自定义函数和数据基础库的操作流程。自定义函数 流程图 流程说明 操作 说明 新建函数资源 通过上传资源包的方式新建函数资源，为自定义函数中所使用...
通用资源为用户提供了自定义函数、函数资源、数据基础库的能力，帮助用户在数据开发等过程中灵活调用各类自定义函数和基础数据。自定义函数 通过自定义函数功能，用户可以自定义ETL（Extract-Transform-Load）函数并管理，自定义函数与公共...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 运营。在顶部菜单栏，单击 资产注册。说明 若已在 资产注册 页面，请跳过该步骤。将鼠标悬停至 数据表 卡片上，单击 来源配置。说明 鼠标悬停至 数据表 卡片上，单击 ...
企业数据云平台Cloudera Data Platform（简称阿里云CDP），是阿里云和Cloudera联合打造的阿里云上的大数据平台。前置概念 阅读本文前，您可能需要了解如下概念：什么是边缘计算？什么是人工智能（AI）？什么是SQL？Cloudera CDP企业数据云...
1.售前咨询渠道 尊敬的“准”大数据专家服务用户您好：如果您准备购买阿里云大数据专家服务，但是遇到如服务范围、规格、服务选择等售前方面的问题，您可以通过钉钉与我们联系，您将“当面”获得阿里云大数据专家咨询专家的建议。...
概述 电商网站的销售数据通过大数据进行分析后，可以在大屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据，触控大屏支持您自助查询数据，极大地提高数据的可读性。应用场景 电商...
本教程中使用阿里云大数据产品MaxCompute配合DataWorks，完成整体的数据建模和研发流程。完整的技术架构图如下图所示。其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。...
本文为您介绍数据资源平台实例售卖支持的地域、版本及购买时长。背景信息 购买数据资源平台前，请您了解以下几点：购买前建议您先联系阿里云 售前咨询 并提供企业数据建设需求及背景信息。待阿里云售前咨询帮您确认数据资源平台当前版本及...
云计算资源是 数据资源平台 中数据建模使用的基础，通过了解数据建模支持的云计算资源类型，并在系统设置模块添加数据建模需要使用的云计算资源类型对应资源，以备在物理化逻辑表和设置对应资源的质量规则时使用。本文介绍数据建模中支持...
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
支持您通过导出数据建模基础信息功能，下载数据建模基础信息到本地进行查看并搭配导入功能，您可以快速实现工作组间的数据建模基础信息迁移。本文介绍如何导出数据建模基础信息。前提条件 已存在数据建模基础信息，具体操作，请参见 新建...
数据资源平台中的数据标准、数据模型、数据加工场景、数据服务API、云计算资源配置等资产，经过验证最终可沉淀为一个特定的解决方案。支持通过不同的创建方式，灵活的选择解决方案中包含的内容。依托数据资源平台中管理的大量元数据，确保...
关键性里程碑 2009年9月，ODPS（即现在的MaxCompute）大数据平台飞天项目正式启动。2010年10月，阿里巴巴集团自主研发的第一代云计算平台稳定运行。2013年8月，平台的单集群规模已达到5000台。2014年7月，平台开始对外提供服务，完全替换...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
产品版本 试用版 基础版 高级版 专业版 旗舰版 版本选择建议 产品体验、选型测试 个人开发者 小型数据团队 中小型数据团队 企业级数据团队 功能规格 数据融合与计算√数据资产管理与运营√业务决策建模（邀测中）√时空数据汇聚与服务（邀...
本章节介绍如何通过多种方式读写不同的数据存储系统，支持结构化、半结构化和非...涵盖主流大数据存储引擎的集成，满足多样化的业务需求。读写Doris 读写StarRocks 读写MaxCompute 读写HBase 读写MongoDB 读写MySQL 读写PostgreSQL 读写Kafka
（3）任何数据资源平台以外原因引起的，比如：由数据资源平台所依赖的上下游软件产品故障或配置调整引起的；数据同步模块中由于源端数据库或目的端数据库自身原因导致的；数据同步模块中，由于源端数据库或者目的端数据库用户名、密码修改...
JindoData是阿里云开源大数据团队自研的数据湖存储加速套件，面向大数据和AI生态，为阿里云和业界主要数据湖存储系统提供全方位访问加速解决方案。JindoData套件基于统一架构和内核实现，主要包括 JindoFS 存储系统（原JindoFS Block模式）...
数据资源平台提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台，提供企业级数据资产构建能力和一致性使用体验，助力客户快速构建数据智能平台，实现数据资源统一管理，挖掘潜在规律，优化业务决策，让大数据真正的驱动客户业务。...
为什么不能在调度资源组上进行大数据计算？其他 如何设置任务优先级？如何查看任务优先级？周期任务与周期实例、补数据实例、测试实例是什么关系？DataWorks每晚将根据周期任务，批量生成第二天自动调度的周期实例，周期实例自动生成并且...