通过参数配置,可对Notebook或SQL查询中的SQL代码中所使用的参数变量进行赋值,在SQL代码运行时,参数变量可以自动被替换为相应的值。本文为您介绍如何配置参数。操作步骤 在Dataphin首页,单击顶部菜单栏 分析,进入 分析 平台。按照下图...
通过参数配置,可对Notebook或SQL查询中的SQL代码中所使用的参数变量进行赋值,在SQL代码运行时,参数变量可以自动被替换为相应的值。本文为您介绍如何配置参数。操作步骤 在Dataphin首页,单击顶部菜单栏 分析,进入 分析 平台。按照下图...
接入 Web 应用防火墙 WAF(Web Application Firewall)后,您可以通过设置基础防护规则和防护规则组,帮助Web业务防御SQL注入、XSS跨站、代码执行、WebShell上传、命令注入等常见的Web应用攻击。本文介绍如何设置基础防护规则和规则组。...
本文为您介绍在绑定了AnalyticDB for PostgreSQL计算引擎的项目下如何创建ADB_PG_SQL任务。操作步骤 在Dataphin首页,单击顶部菜单栏中的 研发。默认进入 开发 页面。按照下图操作指引,进入 新建ADB_PG_SQL任务 对话框。编写并运行代码。...
Spark SQL%spark.sql 表示执行Spark SQL代码。spark.sql show tables;select*from people;返回信息如下所示。如何使用Flink 在Zeppelin页面,单击 Create new note。在 Create new note 对话框,输入 Note Name,选择 Default Interpreter ...
问题描述 生成数据集的SQL代码在Navicate中运行没有问题,但是Quick BI中执行报错:“SELECT command denied to user 'quickbi_pktbx'@'*.*.*.*' for table 'doll_client_burying_point'”。完整的异常信息如下:traceId:75697ced-082c-...
SQL代码智能提示 代码语法校验 Studio提供的SQL编辑器可以根据您写入的代码,智能提示SQL语句的语法错误、类型匹配错误或者警告等,实时地标注在代码上。代码智能补全 通过代码补全功能,Studio可以根据代码上下文,提示您项目名称、表、...
安全审计:可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测:提供流量回放和压测功能,帮助您验证您的实例规格是否需要扩容,有效应对业务流量高峰。分析:对指定时间段的SQL进行分析,找出异常SQL,定位性能问题。开通...
DMS安全规则中的SQL审核优化建议,可以对SQL Console或数据变更工单中执行的SQL进行规范性检查(例如表要有备注、表需要包含某些列),并提出相关优化建议(例如无锁数据变更推荐),辅助DBA审核SQL语句,提高研发质量。本文将演示设置部分...
SQL 当程序代码为SQL时,需要提前配置数据库,并在SQL单元格中,选择合适的目标数据库。配置数据库的具体操作,请参见 管理数据库。PySpark 当程序代码为PySpark时,需要提前添加外部集群,详情请参见 管理外部集群。如果您绑定的集群,...
开发SQL代码:使用调度参数 DataWorks提供 调度参数,可实现调度场景下代码动态入参,您可在节点中通过${变量名} 的方式定义代码中的变量,并在 调度配置>参数 处,为该变量赋值。调度参数支持的格式,详情请参见 调度参数支持的格式。...
填写SQL代码。支持Call命令和DDL、DQL、DML语法。默认使用批模式,您可以使用如下所示的SET语法修改为流模式。SET 'execution.runtime-mode'='streaming';选择或创建Session集群。单击页面右下角的执行环境,选择对应版本的Session集群...
输入SQL代码,在页面最底部,单击 语法检查及格式化。代码示例如下:SELECT id,zzhm,khmc,nl,yddh1,csrq,jysp,career,hyzk,gz,decdbyjybs FROM ys_yhkh WHERE zzhm=${zzhm,string,ckr-1000};在 测试 区域,单击 开始测试,查看测试结果,...
新建节点成功后,编写符合语法的Hologres SQL代码,SQL语法请参见 SELECT。说明 使用不包含 limit 限制条件的 SELECT 语法查询数据时,默认只显示200条查询结果。如果您需要显示更多数据,则可以在 SELECT 语法后添加 limit 限制。最多支持...
任务编排中的跨库Spark SQL节点,主要针对各类跨库数据同步和数据加工场景,您可以通过编写Spark SQL,完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型:MySQL:RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
在节点编辑页面的SQL代码区域,鼠标定位至目标代码行,系统会自动识别该行代码所属的完整代码片段。运行代码。说明 仅非运行状态的节点支持使用该功能。如果节点的任务代码处于运行状态,则在代码行左侧将不会显示快捷运行()图标。快捷...
编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务。详情请参见 开通Dataphin。功能介绍 规范建模:...
SQL模式创建数据服务API适用于多表关联、复杂筛选过滤的查询,通过编写SQL代码的方式完成API封装。本文介绍如何用SQL模式创建数据API。前提条件 已创建云计算资源,具体操作,请参见 新建云计算资源。已创建应用,具体操作,请参见 新建...
编码研发用于构建计算任务,例如创建SQL代码任务、Shell任务、Python任务、MR任务和Spark任务;规范建模用于构建逻辑化的数据模型。前提条件 若需进行实时开发,需已购买实时研发增值服务并且当前租户已开通实时研发模块。功能介绍 规范...
此时,组件的开发者可将该SQL过程抽象为一个SQL组件节点,将可变的输入表抽象为输入参数,可变的输出表抽象为输出参数,实现SQL代码的复用。SQL组件概述 PyODPS 3 开发MaxCompute的PyODPS任务,PyODPS 3节点底层Python语言版本为Python 3。...
组件管理(新增)整体功能 无 将大量相似并可复用的SQL代码抽象为SQL代码块或节点任务,可供您自由地配置输入输出参数,并将其运用到各个不同的实际业务中。运行历史(新增)整体功能 无 展示最近三天内,在本地运行过的所有任务记录。同时...
Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎,支持使用标准的SQL查询语言进行大数据的交互式分析查询(Presto概述),DataWorks为您提供EMR Presto节点,便于您在DataWorks上进行Presto任务的开发和周期性调度。...
代码提交的卡点校验 代码提交卡点主要包括您在提交代码时,手动或自动进行SQL扫描,检查您的SQL逻辑。校验规则分类如下:代码规范类规则。例如,表命名规范、生命周期设置及表注释等。代码质量类规则。例如,分母为0提醒、NULL值参与计算...
代码提交卡点校验 代码提交卡点校验主要包括您在提交代码时,手动或自动进行SQL扫描,检查您的SQL逻辑。校验规则分类如下:代码规范类规则。例如,表命名规范、生命周期设置及表注释等。代码质量类规则。例如,分母为0提醒、NULL值参与计算...
DataWorks的数据分析功能为企业提供了全面的数据分析和服务共享能力,可便捷地连接多种数据源、支持SQL查询,并提供电子表格等多样化的数据分析工具,以满足企业日常的数据提取和分析需求。本文将通过MaxCompute引擎在SQL查询中对公共数据...
ALTER_LOCK_FAIL_SNIFFING_OPTIMIZE SQL注入风险检测:CHECK_SQL_INJECTION_RISK 强制索引(force index)风险检测:CHECK_SQL_ASSIGN_FORCE_INDEX 执行计划索引检查:SQL_EXPLAIN_INDEX_CHECK DMS索引分析与推荐:DMS_INDEX_ANALYZE_AND_...
安全审计:可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测:提供流量回放和压测功能,帮助您验证您的实例规格是否需要扩容,有效应对业务流量高峰。分析:对指定时间段的SQL进行分析,找出异常SQL,定位性能问题。使用...
安全审计:可自动识别高危SQL、SQL注入、新增访问来源等风险。流量回放和压测:提供流量回放和压测功能,帮助您验证您的实例规格是否需要扩容,有效应对业务流量高峰。分析:对指定时间段的SQL进行分析,找出异常SQL,定位性能问题。使用...
Flink全托管为您提供了丰富的SQL代码模板和数据同步模板,每种模板都为您提供了使用场景、代码示例和使用指导。您也可以直接单击对应的模板进行使用,快速实现您的业务逻辑,详情请参见 代码模板 和 数据同步模板。单击 下一步。在 新建...
采用流量治理提供的服务并发隔离能力,给重要服务调用配置并发线程数限制,防止慢SQL或者不稳定的服务过多挤占正常服务资源。详情请参见 配置隔离规则。在 新增规则 对话框,单击 并发隔离。在 选择防护场景 页面,确认 接口名称,单击 下...
简介 ePQ Hint Injection功能适用于跨机并行查询(ePQ),数据库运维时,在无法直接给SQL增加PX Hint的情况下,可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下,可以让指定的SQL运行或者不运行ePQ。使用指南 ...
简介 ePQ Hint Injection功能适用于跨机并行查询(ePQ),数据库运维时,在无法直接给SQL增加PX Hint的情况下,可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下,可以让指定的SQL运行或者不运行ePQ。使用指南 ...
本文为您介绍如何将Table/SQL JAR作业迁移至Flink全托管的SQL作业中。背景信息 本文将使用开源JDBC Connector写阿里云RDS的方式进行Table/SQL JAR迁移至SQL,因此需要额外配置附加依赖文件选项。实时计算Flink全托管版集群内置了商业化的...
编辑代码:简单示例 SQL命令 MaxCompute的SQL命令使用类似标准SQL语法,支持DDL、DML、DQL语句,及MaxCompute的特定语法等命令,各SQL命令的详细语法要求及使用示例请参见 SQL概述。下面以一个简单示例为您介绍SQL命令的开发及运行。说明 ...
编辑代码:简单示例 SQL命令 MaxCompute的SQL命令使用类似标准SQL语法,支持DDL、DML、DQL语句,及MaxCompute的特定语法等命令,各SQL命令的详细语法要求及使用示例请参见 SQL概述。下面以一个简单示例为您介绍SQL命令的开发及运行。说明 ...
简介 ePQ Hint Injection功能适用于跨机并行查询(ePQ),数据库运维时,在无法直接给SQL增加PX Hint的情况下,可以通过ePQ Hint Injection功能对指定SQL注入PX Hint。在不改造SQL的情况下,可以让指定的SQL运行或者不运行ePQ。使用指南 ...
本文通过简单的示例,带您快速体验Flink SQL作业的创建、部署和启动等操作,以了解Flink SQL作业的操作流程。前提条件 如果您使用RAM用户或RAM角色等身份访问,需要确认已具有Flink控制台相关权限,详情请参见 权限管理。已创建Flink工作...
Flink全托管为您提供了丰富的代码模板,每种代码模板都为您提供了具体的使用场景、代码示例和使用指导。您可以通过代码模板快速地了解Flink产品功能和相关语法,实现自己的业务逻辑。本文为您介绍代码模板的使用场景和操作步骤。使用限制 ...
这种方法常常更适合于把数据值作为文本插入到命令字符串中:它避免了将该值转换为文本以及转换回来的运行时负荷,并且它更不容易被 SQL 注入攻击,因为不需要引用或转义。一个例子是:EXECUTE 'SELECT count(*)FROM mytable WHERE inserted...
编辑和运行ODPS SQL节点 本节将在ODPS_SQL节点 insert_data 中,通过SQL代码,查询不同学历的单身人士贷款买房的数量并保存结果,以便后续节点继续分析或展现。打开ODPS SQL节点的编辑页面,输入下述代码。具体语法说明请参见 SQL概述。...