日志服务开放了大量的OpenAPI，支持用户通过OpenAPI门户的阿里云SDK等方式进行集成，同时为了更好的采集和使用数据，日志服务自研了日志服务SDK和日志服务CLI，如满足嵌入式/智能设备轻量化采集日志等场景。...更多信息，请参见 可视化开发。
为了 防止加载外部页面滥用 App 信息建议在打开 URL 时以及使用 JSAPI 时对 URL 进行校验，确保是 App 业务内的 URL 才能进行加载打开或限制 URL 的 JSAPI 调用范围和权限，以防因为未鉴权造成问题。具体鉴权方法请参考以下文档：设置 JS...
Dataphin支持的开发组件及开发说明，请参见 集成组件库开发说明。代码脚本开发：对于脚本任务，您可以在代码编辑器中使用代码开发离线管道任务。④ 配置及管理 配置及管理支持集成任务的属性配置、质量监控、相关、历史。属性配置：配置离...
Dataphin支持的开发组件及开发说明，请参见 集成组件库开发说明。代码脚本开发：对于脚本任务，您可以在代码编辑器中使用代码开发离线管道任务。④ 配置及管理 配置及管理支持集成任务的属性配置、质量监控、相关、历史。属性配置：配置离...
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转换成...
镜像表：主要用于流批一体实时任务的开发。镜像表映射了实时表和离线表，在开发流批一体实时计算任务时引用镜像表，将支持同步操作实时表和离线表。更多信息，请参见 新建镜像表。计算任务：支持创建包括SQL、MR、Jar、Shell、Python、...
镜像表：主要用于流批一体实时任务的开发。镜像表映射了实时表和离线表，在开发流批一体实时计算任务时引用镜像表，将支持同步操作实时表和离线表。更多信息，请参见 新建镜像表。计算任务：支持创建包括SQL、MR、Jar、Shell、Python、...
高级配置示例 配置数据集时，您可以设置高级配置，通过JSON格式自定义相关参数：在 为节点配置数据集 时，可以设置高级配置，通过JSON格式指定读写OSS数据的工具和参数，或指定读写NAS文件系统的相关配置。在 为个人开发环境配置数据集 时...
SubmitFile 提交文件至调度系统开发环境 提交文件至调度系统的开发环境，生成对应的任务。ListBusiness 查询业务流程的列表 调用ListBusiness查询业务流程的列表。GetFileVersion 获取文件的版本详情 调用GetFileVersion获取文件的版本详情...
代码在重复运行时若希望获取到运行环境的一些信息，例如日期、时间等，可根据DataWorks调度系统的调度参数定义，动态为代码中的变量赋值。业务日期 通常指的是与业务活动直接相关的日期，这个日期反映了业务数据的实际发生时间。这个概念在...
背景信息 工作流（Workflow）是一种数据处理流程自动化管理工具，它通过可视化拖拽方式整合多种类型的子任务节点，便捷地建立任务依赖关系，加速数据处理流程的搭建，有效提升任务开发效率。周期工作流支持设置的调度依赖关系 周期工作流...
使用客户端诊断 API 工程引入依赖：@mpaas/trace-log，版本参考开发指南 接入 mPaaS 能力。使用 API 的参考示例代码如下：import {createLogger} from '@mpaas/trace-log';export default class MPLog { private static DOMAIN:number=0x...
代码在重复运行时若希望获取到运行环境的一些信息，例如日期、时间等，可根据DataWorks调度系统的调度参数定义，动态为代码中的变量赋值。业务日期 通常指的是与业务活动直接相关的日期，这个日期反映了业务数据的实际发生时间。这个概念在...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行数仓开发与分析，并通过案例体验DataWorks数据集成、数据开发和运维中心模块的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取网站用户群体...
本文介绍物联网应用开发（IoT Studio）功能和文档的动态。2024年01月 Web可视化开发和移动可视化开发 功能名称 功能描述 发布时间 相关文档 组件交互 动作执行模式默认 同时执行，新增 按顺序执行。2024-01-29 交互配置 2023年12月 项目...
基于飞天大数据平台产品DataWorks+MaxCompute大大提高了数据业务的开发效率，构建大润发的数据中台体系。新金融行业：某互联网金融公司湖仓一体案例 客户简介 公司的第一代数据湖是基于Hadoop+OSS搭建的，同时引入的数据中台的执行引擎和...
本文提供了移动开发平台（mPaaS）在 Android、iOS 以及 HarmonyOS NEXT 开发环境下提供的开发插件的版本发布信息。mPaaS 提供了 Android 应用开发环境下的 Android Studio mPaaS 插件，iOS 应用开发环境下的 Xcode mPaaS 插件和 mPaaS ...
总结 do-while与while、for-each和do-while三种循环类型对比如下：do-while能够实现先循环再判断的循环体，即do…while语句，能够通过系统的变量dag.offset结合节点上下文间接实现foreach语句。do-while不能实现先判断再循环的方式，即...
权限类别 描述 MaxCompute开发项目权限 DataWorks通过空间级预设角色与开发环境MaxCompute引擎Role的映射关系，让被授予空间角色的RAM用户（子账号）拥有该角色映射的开发引擎权限，默认拥有开发环境对应的引擎项目权限，但无生产环境对应...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在MaxCompute Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
DataWorks 跨空间迁移-湖仓迁移中心官方文档 二、DataWorks平迁属性映射 2 修改调度信息 4 导入DataWorks新版数据开发空间 可参考调度迁移工具DataWorks新版数据开发平迁的官网文档中的以下小节。DataWorks 跨空间迁移-湖仓迁移中心官方...
操作系统的产品类型 2.补丁的分类 3.补丁的严重级别 4.自动批准的条件。补丁管理概述 补丁基线 补丁修复 当您有扫描或安装补丁的需求时，通过OOS补丁管理操作可轻松搞定。补丁管理支持两种触发模式：1.立即修复，2.定时修复。立即修复 定时...
随后，基于清洗后的数据，轻松完成算法模型的开发、训练与评估，实现大数据与AI的无缝衔接。智能代码生成：DataWorks Notebook内置智能编程助手，支持通过DataWorks Copilot辅助生成SQL代码和Python代码，提升开发效率。挂载数据集：...
随后，基于清洗后的数据，轻松完成算法模型的开发、训练与评估，实现大数据与AI的无缝衔接。智能代码生成：DataWorks Notebook内置智能编程助手，支持通过DataWorks Copilot辅助生成SQL代码和Python代码，提升开发效率。支持的单元格类型 ...
说明 开发环境和生产环境的计算资源信息存在差异，查询对应环境的表、资源等操作前，请先明确相应环境的计算资源信息。查看不同环境对应的MaxCompute计算资源信息，详情请参见 旧版数据开发：绑定MaxCompute计算资源。资源管理 DataWorks仅...
在 新建节点 对话框输入节点 名称，单击 确认，节点创建完成，您可在节点中进行对应任务的开发与配置。步骤二：配置数据质量监控规则 1、选择待监控表 单击 添加表，在 添加表 对话框根据条件搜索并选择需要监控的目标表。2、配置监控数据...
根据所使用系统类型，准备运行Spark on MaxCompute任务的开发环境，详情请参见 搭建Linux开发环境、搭建Windows开发环境。开发Java/Scala代码。在ODPS Spark节点执行Java或Scala语言类型代码前，需先在本地或已有环境开发好Spark on ...
创建好数据推送任务后，您可以单击工具栏上的 保存 按钮，保存当前配置，然后单击 测试 进行开发状态测试，用来测试数据推送是否可以正常推送。完成数据推送测试后，即可对数据推送任务进行后续发布等操作。实践二：查询近12小时消耗比较...
该节点易于与Kafka、HDFS等系统集成，提供详尽的日志和性能监控工具。您只需在DataWorks项目中添加Flink SQL Streaming任务并编写SQL语句即可开始实时数据处理。本文将介绍如何在DataWorks开发Flink SQL Streaming节点任务，并通过...
旧版数据开发使用镜像 进入数据开发：登录 DataWorks控制台，切换至目标地域后，单击左侧导航栏的 数据开发与运维 数据开发，在下拉框中选择对应工作空间后单击 进入数据开发。配置资源组：在数据开发功能中找到待测试三方包的 任务节点，...
开发安全培训 应用开发阶段建议围绕开发人员进行开发安全培训，安全培训也是SDL流程的起点，通过安全培训可以有效的在开发阶段避免一些常规问题，再配合后期的业务安全测试、渗透测试，能够有效缩短开发周期，保障开发上线安全。开发安全...
持续集成/交付 GitLab：Git存储库管理工具，集成的CI/CD功能，支持版本控制和开发协作。Jenkins：开源的自动化服务器，支持执行CI/CD任务。编程语言与运行环境：Java、Python、Node.js、PHP 缓存与数据库：MySQL、Redis、Nginx 应用性能...
当发布流程执行到 从开发环境下线 时，数据开发目录树会保留节点，但节点ID会被移除，并且生成 从开发下线 的版本记录。当发布流程执行到 从生产环境下线 时，节点删除操作将发布至生产环境，同步下线生产环境中的任务，您可在生产环境下线...
注意事项 若要实现DataWorks标准模式工作空间的开发环境与生产环境隔离机制，您需要为开发环境和生产环境注册两个不同的EMR集群。且这两个集群的元数据需要使用如下存储方式：方式一（数据湖方案推荐）：存储在数据湖构建DLF（Data Lake ...
DataWorks支持在创建个人开发环境的自定义镜像时，同步生成MaxCompute的自定义镜像，方便您在DataWorks节点（如PyODPS 3节点、Notebook节点）中使用MaxCompute自定义镜像。本文将为您介绍在DataWorks构建并使用MaxCompute自定义镜像。背景...
您可以创建EMR（E-MapReduce）HIVE节点，通过类SQL语句读写、管理存储在分布式存储系统上的大数据集的数据仓库，完成海量日志数据的分析和开发工作。前提条件 已创建阿里云EMR集群，并注册EMR集群至DataWorks。操作详情请参见 旧版数据开发...
本案例指导您完成购房群体分析，帮助您掌握DataWorks的数据开发与数据分析流程。案例介绍 本案例基于用户买房数据，分析不同群体的购房情况。通过DataWorks进行数据开发和数据分析。将本地数据通过DataWorks上传至MaxCompute的 bank_data ...
数据上云与集成：使用 数据集成 模块将源业务系统的数据采集至大数据平台。支持离线（批量）、实时（流式）、全量及增量等多种同步方式。规范模型设计：在进行大规模数据开发前，进行规范化的模型设计，以保证数据体系的有序与可维护性。此...
开发或发布环境对比：在 开发记录 页签中，勾选两个版本，单击上方的 选择对比 按钮，即可对比不同版本的触发式工作流代码信息和调度配置信息。开发与发布或构建环境对比：在 开发记录 页签中，定位到触发式工作流的某个版本。单击 操作 栏...
告别繁琐的数据“体力活”，DataWorks 内置更懂你的 AI 助手—DataWorks Copilot。DataWorks Copilot 致力于将您从重复、低效的工作中解放出来，把宝贵的时间还给创新与思考；...Agent模式 适用于需要多个步骤、调用多种工具的复杂任务。