重要当前,Dataphin仅支持Blink独享集群版的Flink作为Dataphin的计算源。后续步骤完成数据源和计算源准备后,您就可以创建用于研发数据的项目空间。如何创建项目空间...
Blink独享版Blink是阿里云实时计算引擎。重要该版本在公共云已停售,请谨慎选择。计算设置入口在Dataphin首页,单击顶部菜单栏中的管理中心-系统设置。默认进入计算设置...
建议优化任务:仅统计生产环境(Basic和Prod项目)中,独享运行容器的周期任务(不包括共享容器的SQL任务及代码模板任务)。调度资源大盘入口请参见运维中心入口,进入...
支持企业独享域名。AB测试实现一条推广链接在相同环境推广给同一用户群体,并按比例分流到不同落地页,实现真正相同环境下的A/B效果对比。多渠道推广将推广链接生成...
且引用该模板创建的计算任务为独享资源任务。具体操作,请参见运行设置。参数配置参数说明填写代码中的参数说明,便于开发者理解。默认值为代码中的参数赋值。后续您...
调度资源共享运行资源的实例通常情况受调度资源影响较小,独享运行资源的实例需要所属资源组有足够可分配的空闲资源才会开始调度,否则为等待调度资源状态。...
速度上限选择数据传输的速度上限:如果您选择基于数据量限制,则需选择1 M/s、2 M/s、5 M/s、10 M/s。如果您选择基于数据条数限制,则需填写限制的条数,例如30条/s。单击...
databaseName=HXE','table-name'='table_id_name_time','username'='root','password'='root','scan-period.seconds'='20','scan.start.time'='2024-02-20 18:30:00','scan.table....
基于已开发好的API,将多个API通过服务编排的方式创建API。本文为您介绍如何通过服务编排的方式创建API。步骤一:选择生成API的方式在Dataphin首页,单击顶部菜单栏...
SQL模式是基于服务单元编写SQL语句创建API。本文为您介绍如何使用SQL模式生成API。前提条件基于服务单元生成API,需先完成服务单元的创建。具体操作,请参见创建服务...
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连数据源模式生成API。权限说明支持服务的项目管理员和开发用户可以生成API。...
度量是数值类型的字段,表示某个方面的大小、多少或者程度。本文为您介绍如何新建及配置事实逻辑表。使用限制若您未购买数据标准模块,不支持设置表中的数据标准...
'y')最近2个自然月cBeginDate('${bizdate}','m',2)cEndDate('${bizdate}','m')自然周截止当日tdBeginDate('${bizdate}','w')${bizdate}自然月截止当日tdBeginDate('${...
符:标识含义类型实例y year Number 2009 M month in year Text&Number July&07 d day in month Number 10 h hour in am/pm(1-12)Number 12 H hour in day(0-23)Number 0 m minute in hour Number 30...
统计值(重复行数/重复率)重复行数用于检查数据中重复了的行数的多少,仅计算多出来的行数,算法为总行数-去重行数。重复率=重复行数/总行数。如果需要重复数据的...
本文为您介绍如何查看函数的资产详情。函数详情入口在Dataphin首页,单击顶部菜单栏的治理资产清单。单击函数页签,选择目标函数,单击函数的名称或操作列下的图标,...
生命周期配置手工表的生命周期,支持7、14、30、360天。重要生命周期仅MaxCompute计算引擎支持配置。描述填写手工表的简单描述,128字符以内。重要创建的手工表为Prod项目...
图片建议长宽比为16:9,支持JPG、JPEG、PNG、GIF格式且大小在1 M以内。视频来源:支持视频链接或上传视频。视频链接:添加视频的链接。视频将在您的浏览器中播放,请确保...
长度不超过30个字符。规则说明输入对变更规则的简单描述,不超过256个字符。服务场景默认选择发布管控,不支持修改。规则类型默认选择全局规则,不支持修改。生效对象...
本文为您介绍如何配置和转交归属我的功能权限。配置功能权限在Dataphin首页,单击顶部菜单栏管理中心。按照下图指引,进入功能权限归属对话框。在功能权限归属对话框,配置...
例如:当天日期为2023-04-30,配置了统计数据存储周期最近为30天,且单次查询跨度小于等于7天,即可选择的日期为2023-03-31至2023-04-30,并且单次最多查询7天的数据,即...
参数描述统计时效支持天(T+1)、时间(T+h)、分钟(T+m),默认天。统计粒度可选择当前板块下所有已上线的逻辑表对应的业务对象。说明如果所选择的统计粒度已存在汇总...
说明OpenAPI调用时需要等待最长30分钟才可生效。启用:启用后,AccessKey为已启用状态。②AccessKey管理页面,单击图标,可删除AccessKey信息。AccessKey信息删除后,调用...
Dataphin分析平台设置为使用分析平台的前提条件。包含分析平台专用的计算源设置、临时表生命周期设置、数据结果下载及审批设置。本文将为您介绍如何进行分析平台设置...
命名规则如下:长度不能超过30个字符。支持任何字符。服务场景默认为发布管控。责任人变更策略的责任人。默认为当前账号,您也可以修改。起止时间策略生效时间范围。每日...
spark.yarn.am.memory 512 M客户端模式下YARN Application Master使用的内存量。spark.yarn.am.memoryOverhead-在客户端模式下为每个AM进程分配的非堆内存量。spark.driver.memory 1...
为防止对数据表的误操作,Dataphin支持将您删除后的数据表存留在回收站30天。同时Dataphin支持恢复或清除回收站中的数据表。本文为您介绍如何在回收站中清除表和...
单位时间包括1 min、5 min、10 min、30 min、60 min。操作符选择监控指标与触发阈值的比较的操作符。操作符包括=,=,=,!触发阈值填写告警规则的触发阈值。通知方式选择告警...
治理效果助您分析治理后效果,评定治理情况、推动治理优化。本文为您介绍如何通过治理效果模块查看整体治理效果指标、趋势分析、项目治理明细。页面介绍在Dataphin首页,...
统计周期即统计数据的时间范围,例如最近7天、最近30天等。本文为您介绍如何新建统计周期。前提条件仅支持智能研发版。若需使用,当前租户还需开通智能研发模块。...
Select select column[s]from table table_name|view view_name][join table on条件表达式][where条件表达式][group by column[s]][having条件表达式][order by column[s]asc|desc][limit m[,n]];...
set mapreduce.map.java.opts=-Xmx 6144 m;set mapreduce.reduce.memory.mb=10150;set mapreduce.reduce.java.opts=-Xmx 8120 m;E-MapReduce 3.x、E-MapReduce 5.x、CDH 5.x、CDH 6.x、FusionInsight 8.x...
自定义掩码(自定义替换值)自定义掩码字符串脱敏位置,参数三个一组输入,如输入n,m,k参数组,则会将从n到m位置的字符串替换k。哈希脱敏安全算法说明算法名称算法描述...
Dataphin支持对数据表、数据源的权限变更操作进行查看与审计,以此来判断授权、回收、交还等操作的合理性。本文为您介绍如何对数据表或数据源的权限操作进行查看和...
Dataphin支持对数据表、数据源的权限进行查看与审计,及时发现不合理的授权用户并处理,确保权限体系健康,防止权限泄露。本文为您介绍如何对数据表或数据源的权限进行...
默认为30,000,即30秒。如果数据采集源头长时间没有产出数据,为了保证数据的及时投递,需设置此参数,超过设定时间会强制投递。说明一次提交数据量、batchSize、...
治理分析针对所有项目空间进行问题诊断,同时对待治理问题点进行分析。本文为您介绍如何查看治理健康度、分数明细和项目治理明细。页面介绍在Dataphin首页,单击资产。...
1分钟使用1/24/60来表示,30分钟为30/24/60。示例参考当前日期基于业务日期(T-1)的配置实际值基于预计执行时间(T)的配置实际值2018-01-10${yyyymmdd}20180109$[yyyymmdd]...
说明单次Excel上传不超过1000行,且文件不超过10 M。仅支持.xlsx文件。Excel文件上传后,可选择文件兼容策略及查看校验结果。参数描述兼容策略针对本次上传和线上已有...
收藏后,您可以在资产清单列表-我的足迹查看最近收藏的30条资产,方便后续查询;您也可以在个人数据中心查看全量收藏的资产,详情请参见查看及管理我收藏的资产。...