如何基于Dataphin做到开发测试一站式搞定?

本文涉及的产品
实时计算 Flink 版,5000CU*H 3个月
简介:

作者:彭静 更多内容详见数据中台官网 https://dp.alibaba.com

最近在Quora上的一次讨论,程序员分享了他们认为工作中最大的困难。其中排名第二的是:“写测试任务描述“。小姐姐很疑惑了,最难的难道不是写代码吗?写测试有什么难的呢?
数据研发也好,软件开发也好,其实大型任务通常是很复杂的,包含了成千上万行代码,其中数不清的交互接口、路径和逻辑;而要把每一个细节都检查确定结果无误后再提交代码其实是一件很困难的事情。因此某些开发方会鼓励开发GG们在编写程序之前就写好测试脚本。但是这无疑是一件枯燥乏味且耗时耗力的事情。

有没有什么办法可以让代码在本地快捷测试,测试全部通过再发布线上进行调度呢?如果发布了错误的脚本任务上线,会导致我线上的数据库受影响吗?
同学们,Dataphin给我们指了一条光明大道!

Dataphin支持本地数据调试、线上模拟测试,保障上线任务正确性

示例1、Dataphin·实时计算本地采样调试功能
对于每一个实时计算任务,我们支持对所用的表进行采样数据。
可以采样本地数据进行调试,不会影响到线上数据表,安全高效测试;同时我们支持算子调试,即无需采样数据的调试方法。调试完成后,可以看到调试的中间结果和调试结果,待调试完毕,可以提交该任务。随写随调,让任务开发安全有保障,上线任务更放心!
image
image
image

示例2、Dataphin·实时计算测试实例功能
除了本地数据的调试功能,我们还引进了全链路的测试功能。提交实时计算任务,在正式发布生产环境之前,可以在开发环境启动测试实例。我们支持两种测试方式:打印日志、写测试表;轻松掌控自己写的任务会对线上造成的影响。
image

打印日志的方式相对简单,无需引入额外成本。且可以非常直观地看到输出结果。可以被独立地测试与验证,适用于快速验证实时代码加工逻辑正确性的场景。推荐实时任务正式发布前先经过打印日志的测试。
image

打印日志的方式虽然可以发现实时任务的大多数问题,但是对于易购系统链路是否畅通,写入目标数据库系统时是否会因为设置、权限等问题报错,输出值是否能匹配到目标系统等问题,还需要通过写表的方式进行验证。因此我们提供了第二种方式,写测试表。
image

建议在使用打印日志的方式验证整体链路逻辑正确性后,再使用写测试表的方式验证输出结果与目标数据库的匹配问题。

Dataphin支持一站式开发和运维,简化全流程
写任务当然不是简单的脚本查询就够了!我如何能做到统一的任务管理、资源管理、运维监控等等一系列的事情呢?我想让所有数据资产化,函数资源可复用,任务可以周期定时触发,且有的指标可以实时计算,怎么去实现呢?选择Dataphin·通用研发,帮你实现从规划到开发、运维的一系列需求!

1、实时计算元表功能模块,统一创建、管理元表,简化了任务研发过程中的DDL过程,组件化配置数据表,让开发过程更加便捷高效。
image

2、函数、资源统一管理,可在代码任务中引用,平台化可多次复用。
image
image

3、实时计算代码模板化,有利于不同业务需求间的代码复用。
image

4、脚本任务提交发布调度,生成周期调度的任务,可进行定期触发,统一运维,监控报警等。
image

小姐姐已经被Dataphin圈粉了,满脑子都是,OMG,用它!更多内容详见数据中台官网 https://dp.alibaba.com

相关实践学习
基于Hologres轻松玩转一站式实时仓库
本场景介绍如何利用阿里云MaxCompute、实时计算Flink和交互式分析服务Hologres开发离线、实时数据融合分析的数据大屏应用。
Linux入门到精通
本套课程是从入门开始的Linux学习课程,适合初学者阅读。由浅入深案例丰富,通俗易懂。主要涉及基础的系统操作以及工作中常用的各种服务软件的应用、部署和优化。即使是零基础的学员,只要能够坚持把所有章节都学完,也一定会受益匪浅。
目录
相关文章
|
2月前
|
测试技术
测试提交的bug开发不认可怎么办?
测试提交的bug开发不认可怎么办?
|
3月前
|
测试技术 开发者
开发认为过度测试了该怎么办?
开发认为过度测试了该怎么办?
开发认为过度测试了该怎么办?
|
3月前
|
监控 安全 测试技术
从开发到测试再到发布,全方位解析项目上线的完美路程!
从开发到测试再到发布,全方位解析项目上线的完美路程!
123 0
|
5月前
|
算法 异构计算
基于FPGA的Lorenz混沌系统verilog开发,含testbench和matlab辅助测试程序
基于FPGA的Lorenz混沌系统verilog开发,含testbench和matlab辅助测试程序
|
6月前
|
Java 测试技术 数据库
测试用例的基本要素 && properties配置文件 && 测试用例的基本要素 && SpringMVC背景知识 && 按照开发阶段划分测试类型
测试用例的基本要素 && properties配置文件 && 测试用例的基本要素 && SpringMVC背景知识 && 按照开发阶段划分测试类型
38 0
|
6月前
|
安全 测试技术 网络安全
软件测试|测试平台开发-Flask 入门:URL组成部分详解
软件测试|测试平台开发-Flask 入门:URL组成部分详解
34 0
|
6月前
|
监控 安全 测试技术
从开发到测试再到发布,全方位解析项目上线的完美路程!
从开发到测试再到发布,全方位解析项目上线的完美路程!
|
4月前
|
移动开发 前端开发 JavaScript
VSCode设置类似Webstorm那样可以用本地局域网IP地址访问自己开发的测试项目,vs code 前端如何以服务器模式打开?
VSCode设置类似Webstorm那样可以用本地局域网IP地址访问自己开发的测试项目,vs code 前端如何以服务器模式打开?
VSCode设置类似Webstorm那样可以用本地局域网IP地址访问自己开发的测试项目,vs code 前端如何以服务器模式打开?
|
4月前
|
测试技术 Docker 容器
使用Docker构建多环境应用:开发、测试、生产环境
Docker已经成为了现代应用程序开发和部署的核心工具之一。通过使用Docker,开发团队可以轻松地在不同的环境中构建、测试和部署应用程序,从而提高开发速度和应用程序的可移植性。本文将介绍如何使用Docker构建多环境应用,包括开发、测试和生产环境,并提供丰富的示例代码,以帮助大家轻松应对不同环境的挑战。
|
2月前
|
Java 测试技术 C#
什么样的自动化测试开发是合格的?
什么样的自动化测试开发是合格的?

热门文章

最新文章