数据库 etl

阿里云 > 云栖社区> 主题地图> S> 数据库 etl

数据库 etl 相关的博客

数据仓库、数据整合、ETL、ELT和EII之间的区别？

在数据仓库领域里，的一个重要概念就是数据整合（data intergration）。数据整合它就是把不同数据库中的数据整合到一起，对外提供统一的数据视图。 　　数据整合最典型的案例就是整合存货数据和订单数据。数据整合的另一个案例就是把各个部门的客户关系管理系统
技术小哥哥 7年前 3509

数据仓库开发难点有哪些？

最近有朋友在问，数据仓库开发的难点有哪些？ 做了几年的数据仓库，谈数据仓库技术难点，我个人觉得没有，什么大数据量查询及处理，数据仓库ETL过程，这些都不是难点，问题是有没有想到的问题，就拿大数据量处理来说，现在的分布式数据库厂商越来越多，NCR/DWA等，都
老牛的博客 16年前 401

Data Lake Analytics，大数据的ETL神器！

0. Data Lake Analytics（简称DLA）介绍 数据湖（Data Lake）是时下大数据行业热门的概念：https://en.wikipedia.org/wiki/Data_lake。基于数据湖做分析，可以不用做任何ETL、数据搬迁等前置过程
我是萌豆 6年前 6529

如何利用数据仓库优化数据分析?

在整个数据分析流程中，数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量，借用数据仓库进行数据分析是一个很好的选择，详细的工作方法本文都有所介绍。 首先，我们来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的
知与谁同 7年前 1084

关于本博客数据仓库方面的原创文章汇总

关于本博客数据仓库方面的原创文章汇总 收藏 关于数据仓库方面的文章汇总 我的数据仓库之路！ 关于数据仓库维度处理的系列文章 1 关于数据仓库维度数据处理的方法探究系列—— 维的概述 2 关于数据仓库维度数据处理的方法探究系列—— 无变化维度处理 3 关于数据
技术小美 7年前 998

如何利用数据仓库优化数据分析?

文章讲的是如何利用数据仓库优化数据分析，在整个数据分析流程中，数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量，借用数据仓库进行数据分析是一个很好的选择，详细的工作方法本文都有所介绍。 　　首先，我们来了解一下数据仓库吧!数
青衫无名 7年前 1070

如何利用数据仓库优化数据分析？

在整个数据分析流程中，数据处理的时间往往要占据70%以上!这个数字有没有让你震惊呢?为了提高分析效率和质量，借用数据仓库进行数据分析是一个很好的选择，详细的工作方法本文都有所介绍。 首先，我们来了解一下数据仓库吧!数据仓库是一个面向主题的、集成的、相对稳定的、
寒凝雪 7年前 1082

数据库与数据仓库的区别（转载）

数据库：传统的关系型数据库的主要应用，主要是基本的、日常的事务处理，例如银行交易。 数据仓库：数据仓库系统的主要应用主要是OLAP（On-Line Analytical Processing），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。
墨持alvin 7年前 782

数据库 etl 相关的问答

使用Apache Spark时如何处理数据库的背压？

我们使用Apache Spark每2个小时执行一次ETL。 有时，Spark在执行读/写操作时会对数据库施加很大压力。 对于Spark Streaming，我可以backpressure在kafka上看到配置。 有没有办法在批处理中处理这个问
社区小助手 6年前 377

使用datax做postgresql到postgresql的数据迁移，报错连接数据库失败

很奇怪的现象是：始终说Reader的数据库是 Available jdbcUrl，然而Writer就会报错：[连接数据库失败. 请检查您的 账号、密码、数据库名称、IP、Port或者向 DBA 寻求帮助(注意网络环境).]. - 具体错误信息为：java.
原地 7年前 3928

【前辈看这里】搞数据的人是否要学一门语言？求指条明路。

我是计算机专业的，现在工作是数据的处理ETL，在此之前没毕业时候培训过java，oracle。 目前是sql写的比较顺手，对oracle和db2熟悉一点，还有就是对于仓库优化有一些好的理解。 自己现在再看hadoop权威指南，还有一本hive的书准备后面看
千里研睿哲 8年前 1167

阿里数据仓库技术选项问题？

李老师您好？请问现在阿里ETL过程，现在主要用的是什么技术？ hive写hsql？ java写mapreuce？ oracle 写plsql？ 还是其他....?
正丑 8年前 2324

直接用flume采数据到hdfs，跟flume+kafka+hdfs的区别，就是利用kafka做缓存么？没有其他好处么？？

放在kafka，用spark streaming做etl或者分析
hbase小助手 6年前 526

阿里云E-MR执行作业，怎么传入时间参数

我想用阿里云E-MR做ETL，用HIVE中的分区表，以ymd分区，每天更新分区中的数据，如 insert into target_table partition (ymd = 20160425) select * from source_table
zyuu2 8年前 1132

greepplum "Interconnect encountered a network error, please check your network (seg1 slice1 机器名:端口 pid=7488)","Failed to send packet (seq 1) to IP:端口 (pid 5582 cid 3) after 3581 retries in 3600 seconds"

1.环境：ETL机器 windows机，网段10.171.64 Greenplum机器 3台linux，网段10.25.143， 2台10.174.13，均是阿里云机器，greenplum版本4.3.9.0 2.执行批量copy或insert操作时，容易出现
木莲00987 7年前 1704

相关主题

数据etl etl 数据库 etl数据集成 etl 数据仓库 etl数据仓库 RDS etl 数据 RDS etl 数据库 大数据etl hadoop RDS etl 数据仓库 etl工具 etl技术 etl的含义 etl和hadoop etl工程师 hadoop etl 架构 hive etl 工具 kettle hive etl 数据 数据库 数据库 数据库数据库系统数据库管理系统 数据库数据清理 数据分片 数据库 数据库管理数据 关系数据库 数据库创建 创建数据库 数据库瓶颈 数据库连接 数据库当机 数据库培训 数据库 培训 培训数据库 新型数据库 数据库建立 云 数据库 数据库地址 数据库分析 网站数据库 数据库系统 国产数据库 数据库 erd ajax 跨域xml数据库 数据库 mycount 数据库 erp 树莓派 传输 数据库 vc连接mysql数据库操作 listview编辑数据库 checkbox 读取数据库 form 提交表单到数据库 sql2008导出数据库脚本