数据仓库

#数据仓库#

已有10人关注此标签

内容分类

悦畅

阿里云PB级实时数仓建设

摘要 如今,数据和分析对于企业来说是不可或缺的。很多企业的数据工程师、数据分析师和开发人员都希望将数据仓库迁移到云上,以提高性能和降低成本。本文讨论了实现实时数据仓库的必要性和实时数据模型,介绍了基于AnalyticDB构建阿里云实时数据仓库解决方案的方法和优势。

晋恒

阿里靠什么支撑 EB 级计算力?

MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。去年MaxCompute 做了哪些工作,这些工作背后的原因是什么?大数据市场进入普惠+红海的新阶段,如何与生态发展共赢?人工智能进入井喷阶段,如何支持与借力?本文从过去一年的总结,核心技术概览,以及每条技术线路未来展望等几个方面做一个概述。

技术小能手

阿里靠什么支撑 EB 级计算力?

MaxCompute 是阿里EB级计算平台,经过十年磨砺,它成为阿里巴巴集团数据中台的计算核心和阿里云大数据的基础服务。

梦蝶数据

何为大数据架构?

大数据架构是用以提取和处理海量数据(一般称之为“大数据”)的整体系统,因而能够针对业务目的进行分析整理。该架构可视作基于机构业务需求的大数据解决方案的蓝图。 大数据架构旨在处理下列类别的业务: •批量处理大数据源。

金鑫工程师

写给大数据开发初学者的话

其实这就是想告诉你的大数据的三个发展方向,平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。请不要问我哪个容易,哪个前景好,哪个钱多。

小猪佩佩

从金融行业转型大数据,一路学习点滴的分享!

大数据学习之路,很漫长,但是请放心,Java 转大数据很轻松,零基础学大数据也很轻松,我会陪着你们一起搞起来,干就完事了。 本篇文章有点长,都是我的真实感受。分为:开始、转折、成长、New Flag、关于此号、推荐、总结七个部分。

向翠

DataWorks:依赖上一周期(跨周期依赖)解析

DataWorks的三种跨周期依赖形式解析,跨周期依赖会在运维中心DAG图用虚线展示。

阿莲168

阿里云ACP认证考试细则须知与考题内容学习方法分享

阿里云大数据专业认证介绍:   阿里云大数据专业认证(ACP 级-Alibaba Cloud CertificationProfessional)是面向使用阿里云大数据产品的架构、开发、运维类人员的专业技术认证,主要涉及阿里云大数据类的几款核心产品,包括大数据计算服务MaxCompute、数据工场 DataWorks(原大数据开发套件 DataIDE)、数据集成、QuickBI、机器学习 PAI 等。

刘阳明

完整的大数据知识体系,大数据学习路线图

大数据如何学习,对转行或零基础的伙伴都有很大的帮助

金鑫工程师

关于大数据最常见的10个问题,必看!

1、云计算与大数据是什么关系?   云计算的关键词在于“整合”,无论你是通过现在已经很成熟的传统的虚拟机切分型技术,还是通过google后来所使用的海量节点聚合型技术,他都是通过将海量的服务器资源通过网络进行整合,调度分配给用户,从而解决用户因为存储计算资源不足所带来的问题。

金鑫工程师

大数据就业方向中,主要划分为哪些职位?

一、ETL研发 ETL研发,主要负责将分散的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成,最后加载到数据仓库或数据集市中,成为联机分析处理、数据挖掘的基础。 二、Hadoop开发 Hadoop的核心是HDFS和MapReduce.HDFS提供了海量数据的存储,MapReduce提供了对数据的计算。

nqmysb

数据仓库的哪些事儿

数据仓库 大数据平台 简介 通常说的大数据平台主要包括三部分: 数据相关的工具、产品和技术: 批量数据采集传输sqoop,spark 离线数据处理Hadoop,Hive,Spark 实时流处理Storm,Spark Streaming,Flink 数据资产: 公司业务本身产生和沉淀的数据 公司运作产生的数据(如财务、行政) 第三方数据:外界购买、交换或者爬虫而来的数据 数据管理:有了工具和数据,需要进行管理才能让数据价值最大和风险最小 相关数据管理技术和概念:数据仓库、数据建模、数据质量、数据规范、数据安全和元数据管理 离线平台 对分析需求最擅长,也是最成熟的,使用最广泛的。

金鑫工程师

大数据的入门级学习详细路线,初学者必看!!

已经火了很久了,一直想了解它学习它结果没时间,了解了一些资料,结合我自己的情况,整理了一个学习路线。

海清

基于MaxCompute的数仓数据质量管理

数据对一个企业来说已经是一项重要的资产,既然是资产,肯定需要管理。随着业务的增加,数据的应用越来越多,企业在创建的数仓过程中对数据的管理也提出了更高的要求,而数据质量也是数仓建设过程不容忽视的环节。本文针对MaxCompute数仓建设过程中如何做数据质量给出规范建议,为实际数据治理提供依据及指导。

向翠

DataWorks:任务未运行自助排查

为什么我的任务没有运行

博文视点

数据产品经理一天日程曝光,网友表示:是我本人!

从2010年开始,产品经理逐渐成为互联网公司最热门的职位。经过这些年的发展,产品经理也从一个综合型职位逐渐细分。其中,数据产品经理是新人入行或其他产品经理转行的优选职位,因为大数据时代已经到来,越早进入,越有优势。

金鑫工程师

大数据学习入门必备规划

大数据方向的工作目前分为三个主要方向: 01.大数据工程师 02.数据分析师 03.大数据科学家