DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力，本文以一个零售电商行业的数仓搭建实验为例，为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现，帮助您深入了解阿里云...
使用数据源 简单模式：工作空间为简单模式时，仅有一个环境，使用 管理中心 创建的数据源和 数据集成 的数据源无差别。标准模式：标准模式的工作空间 支持数据源环境隔离。同一个名称的数据源可存在 开发环境 和 生产环境 两套配置，设置两...
Spark on MaxCompute作业可通过 Local模式、Cluster模式 执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现Spark on MaxCompute作业...
您在完成需求评审、模型与调度设计后，即可进入数据开发阶段。开发阶段的主要任务是将设计阶段的产出转化为具体代码。开发过程中，开发人员必须保证代码的规范性、准确性。同时进行适当的单元测试，以便后续测试工作可以顺利开展。开发阶段...
属性定义 数据源类型type为：s3 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-shanghai 是 S3所属的地域。endpoint String ...
环境准备 本教程以 标准模式工作空间（开发、生产环境隔离）进行演示，请参考以下步骤准备一个DataWorks标准模式工作空间、一个具有公网能力的DataWorks资源组，以及需要分别为开发和生产环境计算资源创建并绑定不同的MaxCompute项目。...
属性定义 数据源类型type为：loghub 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-sanghai 是 LogHub所属地域。endpoint String ...
开启Vim模式 用于设置是否根据Vim模式进行代码开发。警告校验 用于设置在代码开发过程中是否提供研发规范校验，将给出提示。代码提示 用于在输入代码时，提供如下智能提示：连续智能提示：智能感知输入目的，连续给出下一步输入提示建议。...
属性定义 数据源类型type为：datahub 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-shanghai 是 DataHub所属地域。endpoint String ...
属性定义 数据源类型type为：milvus 支持的配置模式（ConnectionPropertiesMode）：InstanceMode（实例模式）UrlMode（连接串模式）实例模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-shanghai 是 实例所在region。...
功能特点 免代码开发：Web可视化工作台与物联网平台的设备接入能力和物模型能力无缝衔接。无需写代码，您就可以调用设备数据，控制设备，或完成SaaS搭建。完全托管：无需额外购买服务器和数据库。应用搭建完毕，即可预览和发布到云端以供...
开发友好 多样化接入方式：提供SDK、MCP、ASP三种接入模式，支持Python、TypeScript、Golang等多种编程语言。可视化调试能力：支持ASP流化协议，实现实时操作过程可视化，并提供会话录制功能，便于问题排查与流程优化。Serverless架构：...
API_KEY'),)if response.status_code=HTTPStatus.OK:print(response.output)print(response.usage)else:print(response.code)print(response.message)代码执行成功后，返回如下结果：{"text":"我是Qwen，由阿里云开发的超大规模语言模型。...
DataWorks将不同类型引擎任务封装为不同节点，通过创建节点来生成数据开发任务。同时，数据开发（DataStudio）支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...
提交 新版数据开发中，将 提交 统一整合为 发布流程，有权限的用户可以直接发布，标准模式也支持将任务打包发布至发布中心。表开发、表管理、公共表 新版数据开发中，新增 数据目录 管理，数据目录-新建表，支持表单可视化建表，支持代码建...
属性定义 数据源类型type为：tablestore 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-shanghai 是 TableStore所属地域。endpoint String ...
属性定义 数据源类型type为：bigquery 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 bigQueryProjectId String bigquery_id 是 BigQuery Project的ID。...
内容 时间戳 蚂蚁动态卡片的定义和特点 00:00:53~00:01:23 应用框架 00:01:24~00:03:01 系统架构 00:03:02~00:05:23 核心模块 00:05:24~00:07:03 线程模型 00:07:03~00:09:03 数据模型 00:09:04~00:11:26 高性能并发渲染 00:11:27~00:13:28...
属性定义 数据源类型type为：oss 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-shanghai 是 OSS所属的地域。endpoint String ...
Hologres 数据集成 数据开发 数仓建模与配置 相关教程 说明 教程使用的计算引擎 涉及模块 使用数据模型模板快速数仓建模 为解决大多数中小企业客户在数据仓库模型建设过程中面临的人才储备要求高、建设周期长以及建设成本高等问题，...
基于该功能，您还可以实现简单模式工作空间的生产开发环境隔离，更多信息，请参见 附录：简单模式如何实现开发与生产隔离。跨云发布 该功能仅支持 使用了旧版数据开发 的工作空间跨账号、跨地域或跨云平台（例如，金融云、政务云等）发布...
属性定义 数据源类型type为：memcache 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 proxy String 127.0.0.1 是 Proxy Host。port String 22 是 端口号。...
本文介绍使用IoT Studio的业务逻辑功能，开发一个控制空调的智能服务。该服务可根据当前温度的变化，控制空调自动开启或关闭。背景信息 业务逻辑是IoT Studio提供的开发工具，支持通过编排服务节点的方式快速完成业务服务开发。本示例以...
Copilot 应用开发是魔笔平台的重要组成部分，旨在帮助用户高效设计和管理一个意图驱动的 AI 聊天助手应用。通过 Copilot 应用开发，用户可以灵活地定制 AI 聊天助手的主题、内容以及驱动意图和 Native 应用功能路由的能力。最终还可以通过...
支持您通过本地文件管理的方式管理云上节点和资源，并在此完成周期性调度任务的协调开发。本文为您介绍如何使用项目目录。背景信息 除了项目目录外，Data Studio还提供了个人目录和手动目录，以满足不同的开发需求，帮助您在各种业务场景下...
属性定义 数据源类型type为：lindorm 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 seedserver String ld-xxx.lindorm.rds.aliyuncs.com:30020 是 连接地址。...
通过使用树莓派（Raspberry Pi 4）、DHT11温湿度传感器设备和物联网应用开发（IoT Studio）平台，构建一个服务器机房的实时动态环境温湿度检测系统。设计思路 创建并接入相应的产品和设备，实现数据实时上报至阿里云IoT平台。使用IoT ...
属性定义 数据源类型type为：oss_hdfs 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 regionId String cn-beijing 是 OSS-HDFS所属的地域。endpoint String ...
Spark on MaxCompute作业可通过Local模式、Cluster模式执行，此外，您也可在DataWorks中运行Spark on MaxCompute离线作业（Cluster模式），以便与其它类型执行节点集成和调度。本文为您介绍如何通过DataWorks实现Spark on MaxCompute作业的...
本文以使用MaxCompute数据源，在DataWorks上运行MaxCompute作业任务为例，为您介绍开发人员如何使用数据开发（DataStudio）创建一个周期调度任务，帮助您快速了解数据开发（DataStudio）模块的基本使用。前提条件 已完成开发前的环境准备，...
本产品（大数据开发治理平台 DataWorks/2024-05-18）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
基于该功能，您还可以实现简单模式工作空间的生产开发环境隔离，更多信息，请参见 附录：简单模式如何实现开发与生产隔离。跨云发布 该功能仅支持 使用了旧版数据开发 的工作空间跨账号、跨地域或跨云平台（例如，金融云、政务云等）发布...
说明 DataWorks的工作空间分为 简单模式 和 标准模式：简单模式：指一个DataWorks工作空间对应一个引擎项目，无法设置开发和生产环境，只能进行简单的数据开发，无法对数据开发流程以及表权限进行严格控制。标准模式：指一个DataWorks工作...
属性定义 数据源类型type为：vertica 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 address JSON Array[{"host":"127.0.0.1","port":3306 }]是 形式上是数组，...
属性定义 数据源类型type为：dm 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 address JSON Array[{"host":"127.0.0.1","port":3306 }]是 形式上是数组，但是只...
注意事项 标准模式工作空间，需分别创建开发环境数据源和生产环境数据源，并且开发环境数据源和生产环境数据源必须使用同一种认证模式。工作空间模式介绍，请参见 必读：简单模式和标准模式的区别。数据源认证模式，请参见 认证模式。前提...
说明 标准模式工作空间下，公共表包括 开发环境 和 生产环境。简单模式工作空间下，公共表仅包括 生产环境。蓝色表示当前环境。表名 相应工作空间下表的名称。列信息 查看当前表的字段数量、字段类型及描述。分区信息 查看当前表的分区信息...
属性定义 数据源类型type为：graph_database 支持的配置模式（ConnectionPropertiesMode）：UrlMode（连接串模式）连接串模式 名称 类型 示例值 是否必填 描述和注意点 host String 10.0.0.1 是 图实例域名。port String 22 是 图实例端口...
DataWorks的强制代码评审是工作空间维度开启，开启后，开发人员提交的节点代码必须通过评审人员的审核才可发布。同时，您可指定代码评审的基线范围（即对哪类基线任务进行评审），把控高优先级任务的代码质量，防止任务运行失败阻塞其他...
完成代码开发后，您需要调试运行。本文为您介绍如何在开发环境进行冒烟测试。冒烟测试介绍 节点发布前，强烈建议您使用 冒烟测试 来验证其配置和运行逻辑的正确性。它主要用于校验：节点调度参数是否能被正确替换。节点上下游依赖关系是否...