查询结果智能可视化 功能描述：在DataWorks-数据开发/数据分析中，借助DataWorks Copilot智能图表助手，您可一键生成基于查询结果的可视化图表及数据见解。使用入口：在节点运行或SQL查询结果处，切换至可视化页签。AI智能建表 功能描述：...
您可参考 设置全局Spark参数 来自定义全局的SPARK参数，并设置全局参数的优先级是否高于特定模块（如数据开发、数据分析和运维中心）内的局部参数。以下将为您介绍如何设置全局SPARK参数。背景信息 Apache Spark是一个用于大规模数据分析的...
对于需要分析数据和开发报表，但无需创建和修改数据集模型的人员，应该赋予分析师权限。对于需要创建和修改数据集模型，添加数据源的人员，则应赋予开发者权限。因为开发者可以接触到工作空间内的核心数据资产，所以应该谨慎赋予。工作空间...
数据开发解决方案 DMS提供强大的内核功能，助您轻松实现数据开发、分析、挖掘、可视化等需求。功能项 说明 任务编排 通过一个或多个任务编排而成的任务组，实现数据归档、数据集成、数仓数据开发、数据挖掘等需求。数据服务 将DMS上管控的...
您需要在工作空间中开启动态脱敏，开启后DataWorks的动态脱敏策略数据开发、数据分析的脱敏功能生效。单击 动态脱敏 页签内单击进入 工作空间管理 页签。在 工作空间管理 页签，可在 状态 列对单个空间进行 开启 或 禁用，亦或是勾选多个...
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
绑定完成后，可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。使用限制 地域限制：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1...
DataWorks通过OpenEvent能力为您提供消息订阅能力，您可以将服务程序注册为DataWorks的扩展程序，通过扩展程序来捕捉并响应订阅的事件消息，以此实现对特定事件进行消息通知与...需针对数据开发、数据分析场景分别设置不同的下载数量策略。
管理元数据是对所涉及的技术元数据、业务元数据采用科学有效的机制进行梳理、集成及管理，并对相关业务、开发等用户提供元数据服务，以满足不同用户的业务需求场景，为企业的业务系统和数据分析的开发、维护等过程提供支持。元数据入口 在...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
只有当一份数据完整地经历了以上三个步骤的处理，您后续从数据分析、数据开发等模块查询并导出的这份 已脱敏且含水印 的数据文件（如CSV），才能被 数据溯源 功能成功解析，最终追查到其原始的泄露路径。限制说明 适用用户：开通DataWorks...
3159",/查询数据源所在的工作空间ID"moduleType":"develop_query",/下载来源：develop_query（数据开发查询）/sqlx_query（数据分析查询）/dw_excel（数据分析电子表格）"operatorBaseId":"1107550004253538",/操作者的UID"datasourceId":...
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
借助DeepSeek-R1的深度推理能力，DataWorks Copilot可以帮助您通过自然语言交互完成更为复杂的SQL代码生成、优化、测试等操作，显著提升ETL开发和数据分析效率。本文为您介绍如何使用Copilot及增强分析实现一站式智能数据查询与可视化。...
OSS数据导入 导出至OSS 数据开发与分析 功能集 功能 功能描述 参考文档 数据开发/分析 SQL开发 AnalyticDB for MySQL支持通过DDL、DML、DQL和DCL进行SQL开发。DDL语句 DML操作 DQL操作 DCL操作 Spark作业开发 AnalyticDB for MySQL支持通过...
申请、续期和交还表权限 授权与回收表权限 数据源管理 数据源连接测试新增成功有风险状态，该状态下的数据源仅可用于数据服务、数据质量功能，不可用于数据开发和数据集成功能。ElasticSearch数据源新增支持HTTPS连接；支持自签名证书。...
使用SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，您可根据业务需求创建使用SQL函数。内建函数详情请参见 内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面示例为您介绍如何使用SQL函数。内建函数：内...
SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，内建函数详情请参见 内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面以一个简单示例为您介绍SQL函数的使用。内建函数：内建函数为MaxCompute自身预置的...
适用角色：实时开发工程师、数据分析师。组合模式三：数据探索与分析 此组合主要服务于数据分析师或运营人员，需要快速验证想法、进行临时性的数据探查。核心目标：提供自助、高效的数据查询与分析环境，降低数据获取门槛。模块组合：实现...
了解DataWorks on EMR Serverless StarRocks DataWorks作为阿里云一站式大数据开发治理平台，通过数据源对接EMR Serverless StarRocks，可实现EMR Serverless StarRocks的数据集成、作业周期性调度，同时结合StarRocks引擎在数据分析和数据...
数据接入能力 强 中 数据准备和建模能力 强 弱 多维数据分析能力 强 弱 可视化页面搭建能力 中 强 非空间数据可视化能力 中 强 空间数据可视化能力 弱 强 低代码交互开发能力 弱 强 可视化资源准备能力 无 强 AI设计辅助能力 无 强 系统...
数据接入能力 强 中 数据准备和建模能力 强 弱 多维数据分析能力 强 弱 可视化页面搭建能力 中 强 非空间数据可视化能力 中 强 空间数据可视化能力 弱 强 低代码交互开发能力 弱 强 可视化资源准备能力 无 强 AI设计辅助能力 无 强 系统...
当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色+MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据...
数据分析师 临时查询 公共表 运行历史 回收站 访客 数据开发（周期调度）数据开发（手动触发）临时查询 改变布局：定制化展示模块 您可以根据自己的需要调整DataStudio左侧导航栏的模块，操作步骤如下。登录 DataWorks控制台，切换至目标...
配置项 配置内容 gender email phone 敏感字段类型 gender email phone 脱敏规则名称 gender email phone 所属脱敏场景 开发展示、SQL分析 开发展示、SQL分析 开发展示、SQL分析 脱敏方式 字符替换 替换位置 替换全部 替换方式 随机替换 ...
数据源 权限说明 数据源范围 数据源 连接模式：仅支持选择有权限的工作空间内的数据源数据，因此您需要先联系管理员将您 添加为工作空间的 数据分析师、开发、运维、空间管理员。直接连接 模式：仅支持选择当前登录账号已经加入的...
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
通过讲述数据集成数据同步的原理机制，理解数据同步的过程，进而对数据同步的执行效果有判断能力，判断数据同步效果具体包括：数据同步的数据量、目标端数据实际数量等。本文将为您列举一些常见数据质量方面的场景，方便您排查是否存在符合...
2.选择个人开发环境 在数据分析页面上方手动选择Notebook运行依赖的个人开发环境实例，作为Notebook运行的环境。3.（可选）切换Python内核 单击Notebook节点右上角的 按钮，确认当前Python单元格运行的Python内核版本，切换其他Python内核...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
案例人群 本案例适合开发工程师、数据分析师、产品运营人员等需要从数据仓库中获取数据并进行分析与洞察的人员。案例设计 为制定企业经营策略，需从用户网站行为数据中提取用户群体基本画像。例如，获取用户群体地理属性、社会属性等信息，...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析，并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体...
270 CDH_HIVE CDH Spark 通用的大数据分析引擎，具有高性能、易用和普遍性等特点，可用于进行复杂的内存分析，构建大型、低延迟的数据分析应用。271 CDH_SPARK CDH Spark SQL 可实现分布式SQL查询引擎对结构化数据的处理，提高作业的执行...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
MaxCompute 数据集成 数据开发 运维中心 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开数据集体进行数据查询、分析和可视化 DataWorks汇聚了丰富的官方真实数据（敏感数据已脱敏），每份数据均提供了具体业务场景...
DataWorks提供的EMR（E-MapReduce）Hive节点支持云端大规模数据的批处理分析，能够操作存储在分布式系统中的数据，简化大数据处理流程并提高开发效率。在EMR Hive节点中，您可以使用类SQL语句读取、写入和管理大数据集，从而高效地完成海量...
需求分析 项目不做数据开发，需要分析的数据在其他项目中。为避免不同主账号资源隔离，本项目的Owner必须与数据开发生产项目的Owner为同一账号。项目主要完成数据查询、下载，需要每个成员用自己的权限进行数据查询、下载。需要设置项目的 ...
需要在 DataWorks 项目空间中具有如下至少一种角色：租户所有者、空间管理员、部署、开发、访客、项目所有者、运维、模型设计师、安全管理员、数据分析师、开发平台管理员、数据治理管理员 调试 您可以在OpenAPI Explorer中直接运行该接口...
说明 若仅创建了MaxCompute数据源，但未将数据源绑定至数据开发（DataStudio），则仅能执行数据同步操作，无法基于MaxCompute进行数据开发、任务调度、数据分析等操作。通过DataWorks使用MaxCompute。数据分析。您可以通过如下方式进入数据...
本文权威汇总了DataWorks Notebook开发的核心问题，涵盖从节点创建、多语言开发、交互式运行到高级应用场景，助您扫清开发障碍，提升数据分析与AI建模效率。