数据分析节点对接了物联网平台数据分析开发的接口。使用该节点，可调用物联网数据分析的API作为当前服务的中间逻辑功能，并将接口的返回值作为节点的输出。前提条件 已完成业务服务的创建。详细内容请参见 创建业务服务。重要 物联网数据...
数据集成 数据开发 数据分析与可视化 相关教程 说明 教程使用的计算引擎 涉及模块 使用公开数据集体进行数据查询、分析和可视化 DataWorks汇聚了丰富的官方真实数据（敏感数据已脱敏），每份数据均提供了具体业务场景的查询SQL，您可选择感...
背景信息 Python是机器学习和AI模型开发的主流编程语言，提供了丰富的科学计算和可视化库，如NumPy（N维数组运算）、Pandas（数据分析）、Matplotlib（2D绘图）和Scikit-Learn（数据分析和挖掘算法）。同时，Python还支持TensorFlow、...
物联网数据分析的数据开发任务是使用标准的SQL语句对设备进行数据分析，而API服务可将数据开发任务封装成API，方便开发者调用。API服务既可以直接响应设备端请求，也可以用于服务端数据对接。创建数据分析任务 登录数据分析控制台，单击 ...
DataWorks提供项目所有者、空间管理员、数据分析师、开发、运维、部署、访客、安全管理员、模型设计师、数据治理管理员等多种角色，本文将为您介绍具体角色的权限说明。DataWorks提供的空间预设角色默认拥有所有空间级模块的可读权限，但...
阿里云EMR Workbench是一个综合性的大数据分析和开发环境，作为阿里云E-MapReduce的一部分，它提供了EMR Notebook和EMR Workflow两个核心功能。通过EMR Workbench，您可以轻松进行数据开发，以及交互式数据分析，并设计复杂的数据处理工作...
DMS的Data+AI功能模块，针对数据全生命周期的集成、开发、服务三个阶段提供界面化的功能支持。...数据分析 DMS数据分析提供数据集、仪表盘，可以在仪表盘中可视化分析数据，并直观地呈现结果。更多信息，请参见 数据分析。
EMR Notebook是一个Serverless化的交互式数据分析和探索平台，满足大数据和AI融合下的数据处理需求，为数据工程师、数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...
随着AI技术的发展，Data Fabric与AI的融合不仅增强了数据交付的灵活性，也降低了数据分析的难度，使得数据分析对所有人来说都变得更加易行，开启了人人参与数据分析的新时代。DMS数据分析与应用介绍 DMS通过Data Fabric+大模型构建数据管理...
创建Hologres数据源 数据开发、数据分析环境准备 基于DataWorks进行Hologres调度任务前，您需先将Hologres实例创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性调度...
创建MaxCompute数据源 数据开发、数据分析环境准备 基于DataWorks进行MaxCompute调度任务前，您需先将MaxCompute项目创建为工作空间的数据源并绑定至数据开发（DataStudio）。绑定后，才可使用该数据源进行相关数据开发、数据分析、周期性...
支持的数据源及同步方案 数据开发、数据分析 环境准备 基于DataWorks进行计算引擎任务周期性调度前，您需先将集群添加至DataWorks。添加后，才可使用该集群进行相关数据开发、数据分析、周期性调度运行任务等操作。注册CDH或CDP集群至...
生效的工作空间 指定用户在哪个DataWorks工作空间执行数据开发、数据分析时脱敏策略生效。说明 DataWorks数据开发、数据分析：三个条件（生效的用户范围、生效的项目范围、生效的工作空间）同时满足时，脱敏策略生效。DataWorks数据地图：...
使用开放数据 将开放数据安装到目标工作空间的 MaxCompute 计算资源后，您可以在数据开发或数据分析模块中，基于该目标工作空间的MaxCompute计算资源，直接访问已授权的元数据视图信息。在数据地图左侧导航栏中，单击 图标，进入数据目录...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
Data Studio介绍 Data Studio是智能湖仓一体数据开发平台，内置阿里巴巴15年大数据建设方法论，深度适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、PAI等数十种大数据和AI计算服务，为数据仓库、数据湖、OpenLake湖仓一体数据架构...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接Hologres实例，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 购买Hologres实例 并 创建数据库。重要 购买Hologres实例时，请确保其与DataWorks工作空间位于同一...
工作空间管理员将成员添加至工作空间中，并赋予该成员不同的角色，例如：空间管理员、数据分析师、部署、开发、数据治理管理员、模型设计师、访客、运维、项目所有者、安全管理员，以实现多角色协同工作的业务场景。选择工作空间类型 ...
创建完成后，可在DataWorks的各功能模块使用该计算资源连接AnalyticDB for MySQL3.0集群，进行相应的数据同步、数据开发、数据分析等操作。前提条件 已 创建AnalyticDB for MySQL3.0集群。说明 建议购买AnalyticDB for MySQL3.0集群时，...
同时又能通过开发实际数据分析项目，积累实战经验，提升就业竞争力。说明 本计划将根据云工开物项目的最新政策动态调整，如有变更事项将另行通告。产品介绍 产品名称 产品定位 产品优势 功能特性 经典案例 DataV-Board DataV-Board是DataV...
EMR Kyuubi任务在DataWorks的数据开发执行后会生成一个Application ID，此时，再前往数据分析执行该任务，该任务在引擎运维页面不会生成新的Application ID，而是复用数据开发作业的Application ID。不同EMR组件的特性存在差异，具体请以...
自然语言生成SQL 场景：初级开发或数据分析师需要编写复杂的SQL查询，耗时且容易出错。实现：创建一个SQL生成工具，输入“查询近30天内所有活跃用户的平均消费金额”，AI自动生成准确的SQL代码。企业私有知识库 场景：将存储在数据库中的...
查询结果智能可视化 功能描述：在DataWorks-数据开发/数据分析中，借助DataWorks Copilot智能图表助手，您可一键生成基于查询结果的可视化图表及数据见解。使用入口：在节点运行或SQL查询结果处，切换至可视化页签。AI智能建表 功能描述：...
您可参考 设置全局Spark参数 来自定义全局的SPARK参数，并设置全局参数的优先级是否高于特定模块（如数据开发、数据分析和运维中心）内的局部参数。以下将为您介绍如何设置全局SPARK参数。背景信息 Apache Spark是一个用于大规模数据分析的...
对于需要分析数据和开发报表，但无需创建和修改数据集模型的人员，应该赋予分析师权限。对于需要创建和修改数据集模型，添加数据源的人员，则应赋予开发者权限。因为开发者可以接触到工作空间内的核心数据资产，所以应该谨慎赋予。工作空间...
您需要在工作空间中开启动态脱敏，开启后DataWorks的动态脱敏策略数据开发、数据分析的脱敏功能生效。单击 动态脱敏 页签内单击进入 工作空间管理 页签。在 工作空间管理 页签，可在 状态 列对单个空间进行 开启 或 禁用，亦或是勾选多个...
绑定完成后，可在DataWorks的各功能模块使用该计算资源连接MaxCompute项目，进行相应的数据同步、数据开发、数据分析等操作。使用限制 地域限制：华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华北6（乌兰察布）、华南1...
发布并物化模型 维度表、明细表、汇总表、应用表可直接发布物化至创建的数据源实例中，用于后续计算引擎进行数据开发、数据分析等。当前支持将表直接发布物化至MaxCompute、Hologres、EMR Hive、CDH、MySQL引擎。发布模型。模型创建完成后...
开发与分析 数据类型 MaxCompute支持三种数据类型版本，为您介绍各版本支持的数据类型、适用场景及各版本间的差异，避免开发过程中出现数据类型无法解析问题。介绍：数据类型 常见问题：数据类型常见问题 常用命令 提供开发过程中的针对 表...
使用SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，您可根据业务需求创建使用SQL函数。内建函数详情请参见 内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面示例为您介绍如何使用SQL函数。内建函数：内...
SQL函数 MaxCompute支持使用内建函数和自定义函数进行数据开发及分析，内建函数详情请参见 内建函数概述，自定义函数详情请参见 MaxCompute UDF概述。下面以一个简单示例为您介绍SQL函数的使用。内建函数：内建函数为MaxCompute自身预置的...
该案例将通过数据分析技术，解析用户访问日志，结合用户信息，获取用户画像，并自动更新用户画像，实现网站的精细化运营。案例配套文档：简单用户画像分析（MaxCompute版）。电商漏斗模型分析 DataWorks MaxCompute 数据开发 基于漏斗模型...
当数据分析师或数据开发人员新人入职时，如果仅通过人工授权，则工作量巨大，且可能出现错漏。此时，管理员可通过定义“DataWorks自定角色+MaxCompute Role”及DataWorks OpenAPI来进行自动化授权，实现人员入职成功后即可拥有最基本的数据...
数据分析师 临时查询 公共表 运行历史 回收站 访客 数据开发（周期调度）数据开发（手动触发）临时查询 改变布局：定制化展示模块 您可以根据自己的需要调整DataStudio左侧导航栏的模块，操作步骤如下。登录 DataWorks控制台，切换至目标...
数据源 权限说明 数据源范围 数据源 连接模式：仅支持选择有权限的工作空间内的数据源数据，因此您需要先联系管理员将您 添加为工作空间的 数据分析师、开发、运维、空间管理员。直接连接 模式：仅支持选择当前登录账号已经加入的...
在DataWorks的数据开发（DataStudio）、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能，您可将所需历史下载文件重新下载至本地使用，也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...
数据应用更智能：提供面向业务人员的无代码业务模型构建能力和数据分析能力，大大降低数据获取和分析门槛，让业务人员可以直接使用数据，积累沉淀业务模型，能够向上层应用提供更加智能的数据。数据资产更清晰：从宏观到微观助力数据管理方...
2.选择个人开发环境 在数据分析页面上方手动选择Notebook运行依赖的个人开发环境实例，作为Notebook运行的环境。3.（可选）切换Python内核 单击Notebook节点右上角的 按钮，确认当前Python单元格运行的Python内核版本，切换其他Python内核...
案例人群 本案例适合开发工程师、数据分析师、产品运营人员等需要从数据仓库中获取数据并进行分析与洞察的人员。案例设计 为制定企业经营策略，需从用户网站行为数据中提取用户群体基本画像。例如，获取用户群体地理属性、社会属性等信息，...
常见问题 Q：通过DataWorks上传的资源并定义为UDF函数后，除了在数据开发中供ODPS SQL节点使用外，是否可以在数据分析SQL查询中使用？A：可以在数据分析SQL查询中使用，通过DataWorks注册的UDF函数，实际是存储在MaxCompute项目中，因此，...