大数据 etl
首页
博客
论坛
聚能聊
问答
直播
活动
主题
登录账号
注册账号
阿里云
>
云栖社区
>
主题地图
>
D
>
大数据 etl
全部
博客
问答
免费套餐
上云实践机会
校园扶持
助力学生成长
API服务
覆盖海量行业
大数据 etl 相关的博客
数据库工程师快速上手MaxCompute进行ETL
案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者,特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发
海清
7年前
10293
从ETL工具到企业云数据管理,在大数据风口的Informatica完成蜕变
数据已经成为整个社会的一个重要资产,越来越多的企业正在向数据驱动型企业转型。然而,数据的爆炸性增长,特别是非结构化数据的爆炸性增长使得这种转型面临巨大挑战。有研究显示,到2020年,平均每个互联网用户每天会产生1.5GB数据;一个智能工厂每天产生1PB数据……
行者武松
6年前
1651
Serverless对日志服务中的数据进行ETL处理
云栖号最佳实践:【点击查看更多上云最佳实践】 这里有丰富的企业上云最佳实践,从典型场景入门,提供一系列项目实践方案,降低企业上云门槛的同时满足您的需求! 场景描述 场景1:数据加工场景 通过日志服务+函数计算ETL,快速完成日志采集、加工、查询、分析和展示。
最佳实践小文
4年前
696
数据仓库、数据整合、ETL、ELT和EII之间的区别?
在数据仓库领域里,的一个重要概念就是数据整合(data intergration)。数据整合它就是把不同数据库中的数据整合到一起,对外提供统一的数据视图。 数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统
技术小哥哥
6年前
3509
Data Lake Analytics,大数据的ETL神器!
0. Data Lake Analytics(简称DLA)介绍 数据湖(Data Lake)是时下大数据行业热门的概念:https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析,可以不用做任何ETL、数据搬迁等前置过程
我是萌豆
5年前
6529
ETL测试工具简介
ETL测试 ETL测试过程与其他测试过程类似,包括一些阶段。 确定业务需求 测试计划 设计测试用例和测试数据 - 测试执行和错误报告参考 总结报告 测试结束 ETL测试的类型 生产验证测试: 也称为表平衡或产品对帐。 它在以正确顺序移入生产系统之前或同时对数
python人工智能命理
5年前
3243
【DB】几种ETL模式
ETL(抽取、转换、装载)是企业信息化中系统集成、数据仓库软件经常遇到的。当面临以下情况时,需要有较好的模式来解决: * 大数据量 * 复杂逻辑 * 大量表 下面列举几种模式,供大家参考。 也欢迎提出你的方案,共同探讨。 本文转自DavyYew 51CTO博客
技术小甜
6年前
1277
Kettle和ETL的基本构成
这里,我说的通俗易懂点,好方便大家的理解。 ETL解决方案就像业务流程一样,具有输入、输出,以及一个或多个工作环节,处理步骤。同样的,这些步骤也具有输入和输出,并可以执行将一个输人转化为输出的操作。 想一想,例如,在一家保险公司理赔部,门上
技术小哥哥
6年前
1131
大数据 etl 相关的问答
大数据开发套件替代传统etl 工具,那么问题来了 MaxCompute貌似不支持delete 和update 动作,这样的话如果我数据出现问题,重跑数据 我应该用什么解决方案取做呢?
大数据开发套件替代传统etl 工具,那么问题来了 MaxCompute貌似不支持delete 和update 动作,这样的话如果我数据出现问题,重跑数据 我应该用什么解决方案取做呢?
祁同伟
7年前
1389
使用datax做postgresql到postgresql的数据迁移,报错连接数据库失败
很奇怪的现象是:始终说Reader的数据库是 Available jdbcUrl,然而Writer就会报错:[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为:java.
原地
6年前
3928
使用Apache Spark时如何处理数据库的背压?
我们使用Apache Spark每2个小时执行一次ETL。 有时,Spark在执行读/写操作时会对数据库施加很大压力。 对于Spark Streaming,我可以backpressure在kafka上看到配置。 有没有办法在批处理中处理这个问
社区小助手
5年前
377
mysql 1亿数据以上处理的问题
现在数据量太大 估计达到2亿数据 但是我该怎么处理最好!!用etl? 因为这些数据我得汇总操作起来太不方便了! 求帮助
落地花开啦
8年前
1207
直接用flume采数据到hdfs,跟flume+kafka+hdfs的区别,就是利用kafka做缓存么?没有其他好处么??
放在kafka,用spark streaming做etl或者分析
hbase小助手
5年前
526
flink 类型转换,scala 继承map接口后,报java.lang.ClassCastException
类型: case class RIchMap(data:Map[String,Any] = Map()) extends Map[String, Any] with GenMap[String, Any] with Serializable 执行:s
灰灰fly
5年前
460
相关主题
数据etl
etl数据集成
etl 数据库
etl 数据仓库
etl数据仓库
RDS etl 数据
大数据etl hadoop
RDS etl 数据仓库
RDS etl 数据库
etl工具
etl技术
etl的含义
etl和hadoop
etl工程师
hadoop etl 架构
hive etl 工具
kettle hive etl
大数据大数据
大数据数据
大数据+
大数据应用
大数据仓库
大数据计算
大数据模型
大数据培训
大数据开发
大数据 培训
大数据时代
大数据概念
大数据空间
大数据软件
大数据论文
大数据基础
大数据服务
大数据定义
电商大数据
大数据门户
交通大数据
企业大数据
行业大数据
asp.net导出数据库数据
sketch 素材下载网站
一键做网站
aspnet网站开发
centos6.5 安装svn服务器
xp开机直接连接网络连接不上
图灵机器人api申请
世界杯球员数据库
asp excel 导入sql server数据库
ftp服务器渗透