单元测试 代码开发完成后，开发人员需要对代码进行单元测试，单元测试阶段包括以下内容：规范性检查。代码质量检查：建议单条SQL执行时间不超过30分钟。数仓特殊需求检查。指标特性检查。单元测试完成后，需整理输出单元测试报告和发布操作...
DataWorks数据安全治理路线 2023年12月更新记录 时间 特性 类别 描述 产品文档 2023.12.29 新增功能 数据开发 若您要在DataWorks中进行数据建模、数据开发或使用运维中心周期性调度任务，需先将已创建的数据源或集群绑定至数据开发...
专有网络VPC（Virtual Private Cloud）的高级功能包括网络ACL（Network Access Control List）、自定义路由表、动态主机配置协议DHCP（Dynamic Host Configuration Protocol）和IPv4网关。当您的VPC不支持使用高级功能时，您可以联系阿里云...
如您有任何违反本服务协议的情形，或经阿里云根据自己的独立判断认为您对云开发平台服务的使用行为不符合阿里云的要求（包括因您网站遭遇计算机病毒、网络入侵和攻击破坏（包括但不限于DDoS）等危害网络安全事项或行为（该等行为），该等...
步骤四：推进迭代至发布阶段 在 开发阶段 页签，单击页面上方导航栏的 完成开发阶段。系统执行成功后，页签自动跳转到 集成阶段。在 集成阶段 页签，单击页面上方导航栏的 完成集成阶段。系统执行成功后，页签自动跳转到 预发阶段。在 预发...
spark-submit-help 配置高级参数 不同类型EMR集群涉及配置的高级参数有差异，具体如下表。对于任务的相关参数配置，请参考 Spark Configuration。DataLake集群/自定义集群：EMR on ECS 高级参数 配置说明“queue”提交作业的调度队列，默认...
开发者在应用的开发和发布阶段，可能会遭遇消息推送失败的问题。由于 mPaaS 平台集成了不同渠道的推送功能，当遇到问题时，建议通过控制台进行消息推送的测试。如果消息状态是 Acked，则表示 mPaaS MPS 服务端后台已经把消息推送请求发送到...
如下图所示，是在云效上建立的看板，需求的阶段包括待处理（需求池）、已选择、分析中、就绪（待开发）、开发中、待测试、测试中、待发布和已发布 这里有两个阶段需要特别说明一下：已选择：由业务方和开发团队代表共同完成，清晰要解决的...
通常数据开发的总体流程包括数据产生、数据收集与存储、数据分析与处理、数据提取和数据展现与分享。说明 上图中，虚线框内的开发流程均可基于阿里云大数据平台完成。数据开发的流程如下所示：数据产生：业务系统每天会产生大量结构化的...
特殊说明 自定义周期：当数据指标为周期时，用户可以选择开始阶段和结束阶段，统计内容为包含开始-结束阶段中的所有阶段数据，比如：开发前置周期：选择开始阶段为「确认阶段」，结束阶段为「设计阶段」，统计数据为经历确认阶段、分析阶段...
2022年2月21日21点起，E-MapReduce（简称EMR）数据开发功能停止更新，进入维护状态，会影响创建项目、新建和运行作业、工作流、数据开发运维等功能。如果您还在使用数据开发功能，请尽快迁移到DataWorks构建数据开发平台。本文为您介绍数据...
比如，“持续集成”阶段，包括黄色框“构建”这个任务，以及“单元测试”这个任务。两个任务串接在一起，是“持续集成”阶段的全部内容。流水线的启动运行 可以把一条流水线设置为代码提交后自动触发、定时触发或手动触发。即使设置为前两...
背景 让我们回到软件开发的早期，那时有很多独行的勇士，他们一个人写一个操作系统、一个周末搞一个编辑器。他们把代码上传到FTP上，或通过磁盘分发。这个时期软件开发由一两个人独自完成，不需要版本管理工具，也没有分支模式。随着通用...
确认需求 N个工作日（视各企业实际情况而定）内如果无异议，则产品需求文档定稿，并开始进入后续的设计与开发阶段。迭代需求流程 对于同一需求，在完成首次需求评审并定稿产品需求文档后，业务方再次提出的需求，均属于迭代需求。迭代需求...
如果您需要修改代码中的参数赋值，请单击界面上方工具栏的 高级运行。参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，...
如果您需要修改代码中的参数赋值，请单击界面上方工具栏的 高级运行。参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，...
如果您需要修改代码中的参数赋值，请单击界面上方工具栏的 高级运行。参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。保存并运行SQL语句。在工具栏，...
本文为您介绍使用EMR Presto节点进行任务开发的主要流程和注意事项。前提条件 数据开发（DataStudio）中已创建业务流程。数据开发（DataStudio）基于业务流程对不同开发引擎进行具体开发操作，所以您创建节点前需要先新建业务流程，操作...
在完成技术模型设计后，您将进入共享能力中心的开发阶段。本文以示例项目为例，介绍如何使用BizWorks的中心应用进行共享能力中心的开发。中心应用是利用BizWorks平台进行建模、开发、部署并运维的应用，BizWorks平台不仅提供应用的运行时...
敏捷研发历史 敏捷软件开发的实践最早出现在上世纪 90 年代。当时，一批轻量的软件工程方法和框架相继诞生，它们共同的特点是，相对传统软件工程，都遵循演进和迭代的模型，过程更加轻量灵活。其中 Scrum 和极限编程(ExtremeProgramming)在...
如果您需要修改代码中的参数赋值，请单击界面上方工具栏的 高级运行。参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。说明 调度参数使用详情，请参考 调度参数支持的格式。配置任务调度 如果您需要周期性...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
数据开发：用于周期调度任务的开发，支持基于各类引擎创建不同节点进行数据开发，该模块开发的任务可发布生产进行运维。说明 您需要绑定相应类型的引擎后，才可以基于该引擎进行数据开发。手动业务流程：用于手动触发式任务的开发，该模块...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
停止全面支持时间 2023年9月30日0点 影响 您在停止全面支持时间点前创建的数据开发（旧版）项目不会受到影响，可正常使用EMR数据开发（旧版）模块，包括运行作业和工作流调度，但阿里云不再提供EMR数据开发（旧版）的用户答疑、问题解决和...
设计时是开发人员通过低代码平台快速构建应用的阶段。运行时 运行时是指当应用部署到服务器上并被实际用户访问和使用的阶段。在运行时，魔笔应用会执行设计时创建的数据模型、页面和逻辑流，同时根据需要与其他系统进行集成。运行时涉及到...
参数赋值逻辑详情请参见 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别。保存并运行SQL语句。在工具栏，单击 图标，保存编写的SQL语句，单击 图标，运行创建的SQL任务。（可选）冒烟测试。如果您希望在开发环境进行冒烟测试，可在...
使用大数据系统的常见人员包括开发、运营、分析师，甚至销售及HR都会来查询自己所需的数据。如此多类型的用户，授权、管理难度加大，什么样的人员需要授予什么样的权限？如果他们离职、换部门了怎么办？这其中很有可能出现 权限蠕变、过度...
数据质量监控模块为您提供数据表开发的跟踪管理功能。数据质量监控的界面如下图所示，默认显示当前项目接入的“现场开发”类的全部数据表，可切换显示项目中“同步专网”或“产品部署”类数据表。其中：现场开发类表：可选择显示总数据表、...
已通过数据集成将存储于OSS的网站访问日志（user_log.txt）同步至MaxCompute的ods_raw_log_d表。注意事项 本案例中，数据采集和数据加工的部分任务可以通过ETL工作流模板一键导入。在导入模板后，您可以前往目标空间，并自行完成后续的数据...
DataWorks的资源组编排功能，帮助您在数据开发阶段，批量修改指定业务流程下目标节点使用的调度资源组。当您的工作空间中有多个调度资源组时，可以根据实际业务需求，使用该功能快速为目标节点重新分配资源组，促进资源的合理使用。2021.11...
ods_raw_log_d 将OSS中的网站访问日志user_log.txt同步至MaxCompute的ods_raw_log_d表。数据加工阶段 dwd_log_info_di 通过函数正则等方式对MaxCompute日志数据的表ods_raw_log_d进行加工，拆解为可分析字段（例如根据IP获取地域信息），...
研发流程：应用完成一次变更的过程和约束，包括开发、测试、发布上线的完整流程，由多个阶段的多条流水线承载，依次在不同环境进行测试、构建、部署，最终审批通过后发布生产环境。云效操作实践 以下实践，以一个spring-boot应用的“图书馆...
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。RegionId String 是 cn-shanghai 地域信息，通常是服务所在的地域。例如，华东2（上海）是cn-shanghai，华北3（张家口）是cn-zhangjiakou。您无需填写...
ProjectEnv String 是 PROD 运行的环境，包括开发环境（DEV）和生产环境（PRD）。RegionId String 是 cn-shanghai 地域信息，通常是服务所在的地域。例如，华东2（上海）是cn-shanghai，华北3（张家口）是cn-zhangjiakou。您无需填写...
实际开发调度任务时，不同引擎任务的配置要求存在差异，您需先了解不同引擎基于DataWorks开发的注意事项及相关说明，再根据待开发的任务类型开始数据开发工作。各引擎开发说明：DataWorks支持绑定各种引擎并进行引擎开发任务，不同引擎任务...
推进迭代 阶段推进 迭代一般会配置几个阶段，以默认的标准迭代为例，有开发阶段>集成阶段>预发布阶段>发布阶段，通过单击操作栏中的 完成某操作阶段（如 完成开发阶段）完成阶段推进。在迭代的推进过程中，研发效能平台会展示出当前迭代的...
FAILED:ODPS-0130161:[1,84]Parse exception-invalid token '$' params format error，please check your params（key=values）运行按钮的赋值逻辑差异 运行，高级运行和开发环境冒烟测试赋值逻辑有什么区别 调度参数运维与查看 如何查看...
使用流程与主要子模块 DataWorks为您提供从端到端的一站式数据开发治理平台，数据处理流程主要包括以下几个阶段。各个阶段DataWorks的主要子模块如下。数据集成 子模块：数据集成 功能说明：数据集成是稳定高效、弹性伸缩的数据同步平台，...