datastage 配置 增量抽取

简介: 1 三个控件:   TRANSFORMER:对于任何需要转换的数据集合进行转化并负责传入到其他活动的STAGE SELECT XM XM_BM,XB XB_BM, F_15TO18(SFZH) SFZH,AGE AGE_BM FROM XXX   ORACLE CONNECTOR:连接Oracle数据,传送或者被写入数据。

1

三个控件:

 

TRANSFORMER:对于任何需要转换的数据集合进行转化并负责传入到其他活动的STAGE

SELECT XM XM_BM,XB XB_BM, F_15TO18(SFZH) SFZH,AGE AGE_BM

FROM XXX

 

ORACLE CONNECTOR:连接Oracle数据,传送或者被写入数据。

INSERT 

UPDATE

SELECT 

DELETE

 

 

AGGREGATOR:对于单一的输入数据进行分组并且计算每一组的合计和总计

ASH:最好自定义,这样子数据就比较全面

SELECT MAX(AGE_BM) ,ASH FROM XXX GROUP BY ASH;

 

A经过转换出来 将符合的字段传入B中,其中在转换过程中,取出A的最大时间戳并将其传入到时间戳表中。

 

A下次活动时取出时间戳之后的值将其存入到B

 

这样的话就需给A赋值

 

右击方案的PROPERTIES

添加时间戳类型一般默认为STRING


 

 

上面的方案主要解决存入数据并将最大时间戳存入到数据库中

现在如何将变量传送进去

 

2

 

HASH FILE:可以认为是一个txt文件存储关键字和时间戳

 

A的时间戳值存入到HASH_FILE

 

3

 

JOB ACTIVITY:类似Oraclejob

 

HASH_FILE读取数据并传入1

目录
相关文章
|
6天前
|
SQL 算法 关系型数据库
实时计算 Flink版产品使用合集之全量历史数据比较多,全量同步阶段时间长,是否会同时读取binlog进行合并输出
实时计算Flink版作为一种强大的流处理和批处理统一的计算框架,广泛应用于各种需要实时数据处理和分析的场景。实时计算Flink版通常结合SQL接口、DataStreamAPI、以及与上下游数据源和存储系统的丰富连接器,提供了一套全面的解决方案,以应对各种实时计算需求。其低延迟、高吞吐、容错性强的特点,使其成为众多企业和组织实时数据处理首选的技术平台。以下是实时计算Flink版的一些典型使用合集。
|
数据采集 机器学习/深度学习 算法
②数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
613 0
②数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
|
10月前
|
SQL
过配置数据集的增量同步任务
过配置数据集的增量同步任务
84 1
|
数据采集 SQL 关系型数据库
【笔记】最佳实践—如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。
105 0
|
10月前
|
Java 关系型数据库 MySQL
mysql连接池DataSource,DruidDataSource的理解及其使用
mysql连接池DataSource,DruidDataSource的理解及其使用
746 0
|
数据采集 自然语言处理 算法
①数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
297 0
①数据预处理之数据清理,数据集成,数据规约,数据变化和离散化
|
数据采集 SQL 关系型数据库
最佳实践—如何优化数据全量抽取
本文介绍了在应用内通过代码高效抽取数据的方法。
217 0
|
存储 分布式计算 DataWorks
如何正确的做增量加工
回到十多年前,增量加工这个方法并不是一种需要特别需要提出的方法,因为关系数据库的存储与计算性能十分有限(即便是MPP数据库平台也不是全都是做全量加工),增量加工是最普遍的方式。本文讲述了如何在MaxCompute上用与关系数据库的不同的方式做增量数据的加工。
1128 3
如何正确的做增量加工
|
分布式计算 Hadoop 大数据
Shell脚本-修改/etc/hosts文件
在学习大数据配置hadoop集群使用虚拟机的时候,每次开机集群各个机器的ip都可能发生变化,但修改静态ip又不太会操作,写个脚本来操作
|
数据采集 数据库 调度
数据抽取清洗转换加载工具ETL
应用场景 当你想通过工具,从一个数据库将数据进行清洗后搬迁到另一个数据库,那么就可以通过ETL的数据抽取清洗转换加载工具来操作。
2464 0

热门文章

最新文章

相关实验场景

更多