大数据 etl

阿里云 > 云栖社区> 主题地图> D> 大数据 etl

大数据 etl 相关的博客

数据库工程师快速上手MaxCompute进行ETL

案例说明 本案例主要是介绍如何通过数加MaxCompute+大数据开发套件两个产品实现简单的网站数据统计分析。 适用人群 MaxCompute初学者，特别是无大数据开发基础但有数据库使用基础。 案例侧重 数据库工程师快速上手MaxCompute进行大数据开发
海清 7年前 10293

从ETL工具到企业云数据管理，在大数据风口的Informatica完成蜕变

数据已经成为整个社会的一个重要资产，越来越多的企业正在向数据驱动型企业转型。然而，数据的爆炸性增长，特别是非结构化数据的爆炸性增长使得这种转型面临巨大挑战。有研究显示，到2020年，平均每个互联网用户每天会产生1.5GB数据；一个智能工厂每天产生1PB数据……
行者武松 7年前 1651

Serverless对日志服务中的数据进行ETL处理

云栖号最佳实践：【点击查看更多上云最佳实践】 这里有丰富的企业上云最佳实践，从典型场景入门，提供一系列项目实践方案，降低企业上云门槛的同时满足您的需求！ 场景描述 场景1：数据加工场景 通过日志服务+函数计算ETL，快速完成日志采集、加工、查询、分析和展示。
最佳实践小文 4年前 696

数据仓库、数据整合、ETL、ELT和EII之间的区别？

在数据仓库领域里，的一个重要概念就是数据整合（data intergration）。数据整合它就是把不同数据库中的数据整合到一起，对外提供统一的数据视图。 　　数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统
技术小哥哥 7年前 3509

Data Lake Analytics，大数据的ETL神器！

0. Data Lake Analytics（简称DLA）介绍 数据湖（Data Lake）是时下大数据行业热门的概念：https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析，可以不用做任何ETL、数据搬迁等前置过程
我是萌豆 6年前 6529

ETL测试工具简介

ETL测试 ETL测试过程与其他测试过程类似，包括一些阶段。 确定业务需求 测试计划 设计测试用例和测试数据 - 测试执行和错误报告参考 总结报告 测试结束 ETL测试的类型 生产验证测试： 也称为表平衡或产品对帐。 它在以正确顺序移入生产系统之前或同时对数
python人工智能命理 5年前 3243

【DB】几种ETL模式

ETL(抽取、转换、装载)是企业信息化中系统集成、数据仓库软件经常遇到的。当面临以下情况时，需要有较好的模式来解决： * 大数据量 * 复杂逻辑 * 大量表 下面列举几种模式，供大家参考。 也欢迎提出你的方案，共同探讨。 本文转自DavyYew 51CTO博客
技术小甜 7年前 1277

Kettle和ETL的基本构成

　　这里，我说的通俗易懂点，好方便大家的理解。 　　 　　ETL解决方案就像业务流程一样，具有输入、输出，以及一个或多个工作环节，处理步骤。同样的，这些步骤也具有输入和输出，并可以执行将一个输人转化为输出的操作。 　　 想一想，例如，在一家保险公司理赔部，门上
技术小哥哥 7年前 1131

大数据 etl 相关的问答

大数据开发套件替代传统etl 工具，那么问题来了 MaxCompute貌似不支持delete 和update 动作，这样的话如果我数据出现问题，重跑数据 我应该用什么解决方案取做呢？

大数据开发套件替代传统etl 工具，那么问题来了 MaxCompute貌似不支持delete 和update 动作，这样的话如果我数据出现问题，重跑数据 我应该用什么解决方案取做呢？
祁同伟 7年前 1389

使用datax做postgresql到postgresql的数据迁移，报错连接数据库失败

很奇怪的现象是：始终说Reader的数据库是 Available jdbcUrl，然而Writer就会报错：[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：java.
原地 7年前 3928

使用Apache Spark时如何处理数据库的背压？

我们使用Apache Spark每2个小时执行一次ETL。 有时，Spark在执行读/写操作时会对数据库施加很大压力。 对于Spark Streaming，我可以backpressure在kafka上看到配置。 有没有办法在批处理中处理这个问
社区小助手 5年前 377

mysql 1亿数据以上处理的问题

现在数据量太大 估计达到2亿数据 但是我该怎么处理最好！！用etl？ 因为这些数据我得汇总操作起来太不方便了！ 求帮助
落地花开啦 8年前 1207

直接用flume采数据到hdfs，跟flume+kafka+hdfs的区别，就是利用kafka做缓存么？没有其他好处么？？

放在kafka，用spark streaming做etl或者分析
hbase小助手 6年前 526

flink 类型转换,scala 继承map接口后,报java.lang.ClassCastException

类型: case class RIchMap(data:Map[String,Any] = Map()) extends Map[String, Any] with GenMap[String, Any] with Serializable 执行:s
灰灰fly 5年前 460

相关主题

数据etl etl数据集成 etl 数据库 etl 数据仓库 etl数据仓库 RDS etl 数据 大数据etl hadoop RDS etl 数据仓库 RDS etl 数据库 etl工具 etl技术 etl的含义 etl和hadoop etl工程师 hadoop etl 架构 hive etl 工具 kettle hive etl 大数据大数据 大数据数据 大数据+ 大数据应用 大数据仓库 大数据计算 大数据模型 大数据培训 大数据开发 大数据 培训 大数据时代 大数据概念 大数据空间 大数据软件 大数据论文 大数据基础 大数据服务 大数据定义 电商大数据 大数据门户 交通大数据 企业大数据 行业大数据 centos6.5 安装svn服务器 一键做网站 ftp服务器渗透 sketch 素材下载网站 asp.net导出数据库数据 xp开机直接连接网络连接不上 世界杯球员数据库 asp excel 导入sql server数据库 aspnet网站开发 图灵机器人api申请