云原生数据库 PolarDB PostgreSQL 版
阿里云自研数据库 PolarDB PostgreSQL,100%兼容 PostgreSQL,高度兼容 Oracle。
兼容商业/开源等多种空间数据与服务类型,可利用旧客户现有的GIS数据库体系,支撑城市级空间数仓的建设,打造一库多平台解决方案.Ganos时空数据库引擎介绍.深度集成阿里云时空数据库引擎Ganos,为PolarDB数据库添加时空数据存储、管理、索引、计算能力.高效的海量时空数据存储计算能力.100%兼容PostgreSQL,高度兼容Oracle...
来自: 云产品
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
的生态组件构建日志大数据仓库,并介绍在整个 3.Ranger中添加 Kafka、HDFS、Hive和 据流程中,如何通过 Kerberos和 Ranger进行认证 Hbase服务和访问策略。和授权的相关配置。4.Flume中和 Kafka、HDFS相关的安全配 置。产品列表:E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
阿里云最佳实践离线大数据workshop
阿里云最佳实践离线大数据workshop
本最佳实践,首先搭建一个简化的电商 demo 系统,然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统,学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建,学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见:https://www.aliyun.com/product/sls  DataHub:数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻松 基于流式数据的分析和应用。详见:https://www.aliyun.com/product/datahub  Maxcompute:大数据计算服务(MaxCompute...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
基于 MaxCompute 构建数仓,在初期只有一名开发人员的情况下,也能快速地搭建起数系统,且费用成本极低.MaxCompute 将原本需要清算8小时的用户交易数据缩短至1个半小时完成,更减少了本地服务器部署压力以及开发人力成本.玩物得志基于DataWorks+MaxCompute 框架,使用其核心存储、计算等组件快速搭建起自己的大数据平台....
来自: 云产品
Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自<em>建</em>Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
为实现全场景的用户增长需求,采用Flink+Hologres新一代实时数仓,基于业务日志数据构建实时大屏和数据中台系统,加速知识数据探索,促进业务快速发展.完美支撑营收额、订单量等指标实时报表查询,满足企业运营中对于数据时效性越来越高的要求,秒级响应.报表查询秒级响应.通过Hologres提供的高并发读写能力,关联设备状态...
来自: 云产品
云原生企业级数据湖解决方案
云原生企业级数据湖解决方案,数据湖解决方案,无缝对接多种计算分析平台,数据湖中的数据可以直接进行数据分析、处理。
构建全托管式海量数仓.客户大数据场景中有大量累积,数据随着时间推移,访问热度会大幅降低,将不同访问热度的数据存储在不同类型,优化长期存储成本.积累的大数据中的冷数据需要优化长期存储成本•计算和存储增速的不匹配,扩容存储资源可能会产生空闲的计算资源.通过分层存储模式,可以显著优化成本,因存储扩容产生...
来自: 解决方案
DTS数据同步集成MaxCompute数仓
DTS数据同步集成MaxCompute<em>数仓</em>
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成,并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
文档版本:20220126(发布日期)5 DTS数据同步集成 MaxCompute数仓 资源环境部署 步骤3 通过搜索关键字找到“DTS数据同步集成 MaxCompute数仓”模版,单击基于应用新 。步骤4 您可以双击图标修改资源参数,配置完成后,点击右上角的保存,设定应用名称后点 击确认。步骤5 应用保存成功后,点击部署应用。文档版本:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,数据传输,DataWorks,大数据计算服务 MaxCompute
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
可以将源端数据库数据实时同步到数据仓库,构建实时分析数仓,也可以根据调度策略的配置,定期地将源库中的结构和存量数据迁移至目标库中,构建更加灵活的数据仓库(例如构建T+1的周期性数仓).实时同步功能支持将并发粒度缩小到事务级别,能够并发同步同张表的更新数据,提升同步性能;支持多并发压缩传输,降低传输链路对...
来自: 云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
介绍如何使用Notebook.Databricks数据洞察是基于Apache Spark的全托管数据分析平台,内核采用更高效稳定的商业版Databricks Runtime和Delta Lake,满足用户对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等场景需求。因产品服务策略调整,本产品将于2023年10月23日停止全面支持,并将于2024年4月23日停止服务....
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
MaxCompute 提供多种内函数来满足您的 计算需求,同时您还可以通过创建自定义函数来满足不同的计算需求。参考官方文档安装 MaxCompute Studio的 IDEA插件,并连接项目空间(前置步骤必 须完成)。注意:确保使用 JDK1.8版本 MC Studio介绍 https://help.aliyun.com/document_detail/50889.html IntelliJ IDE安装 ...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
HDFS云原生上云方案,助力企业构建云原生大数据架构,欢迎开通和咨询.浅谈HBase八大应用场景.订单/账单存储解决方案.用户画像解决方案.车联网数据存储处理解决方案.互联网广告解决方案.支持原生二级索引,支持多维检索,让海量数据随时可查可见.按需扩容,弹性伸缩。存储层支持冷热分离,试用低成本存储介质,具备高压缩比...
来自: 云产品
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
实时性差,传统数仓一般只能抽取头一天的数据,然后凌晨跑报表任务,时延一 般 T+1。单机存储限制以及成本比较高,云数据库或者自数据库都会遇到单机的存储 瓶颈。如果历史数据一直存储在数据库里面成本会很高;如果单独拆分历史库,架构设计上又提升了难度。文档版本:20210224 1 游戏数据运营融合分析 最佳实践概述 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
大数据workshop
大数据workshop
大数据workshop
详见:https://www.aliyun.com/product/ecs DataHub:数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,让您可以轻 松 基 于 流 式 据 的 分 析 和 应 用。详见:https://www.aliyun.com/product/datahub 实时计算 Flink 版:实时计算 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据近实时数据投递MaxCompute
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
本文以线下现有业务大数据离线数仓建设为背景,介绍如何在现有业务应用系统零 改造的前提下,从 Kafka集群切入,打通数据上云链路,解决数据复杂类型支持和 动态分区问题,将数据近实时投递至 MaxCompute,快速构建数仓服务。应用范围 混合云环境下,现有业务系统零改造,打通数据上云链路。使用 UDF实现复杂数据类型转换和...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
hbase shell scan 'hbase_item' exit 说明:至此,我们已经构建了 HDFS、Hive、Kudu及 Hbase的测试数据。1.4.部署 CDP 1.4.1.购买部署 CDP 登录 CDP控制台(http://cdp.console.aliyun.com/),购买资源套餐。文档版本:20211029 44 CDH迁移升级 CDP最佳实践 基础环境搭建 在 CDP控制台配置集群。输入集群名称、配置 VPC和...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
在线教育流量洪峰最佳实践 场景描述 业务架构 在线教育等行业在业务峰值时段,客户查课、选课、约课、下单、上课、答题、运营报表等 环节均会遇到平日倍甚至十倍的流量洪 峰压力。任何一个环节应对不当都会造成业务 卡顿、服务质量降低等问题,极大影响用户体 验。问题的瓶颈又往往产生在数据库架构以及 产品性能上。...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
金融智能数仓解决方案
金融智能数仓解决方案是阿里云自研高性能、海量可扩展数据仓库服务、兼容部分 Oracle/Teradata 语法生态,大量应用于阿里巴巴集团内部电商,物流,文娱,广告等业务部门,服务于阿里云的金融、政企、互联网等各行业用户,支持快速构建新一代云化数据仓库服务。
属金融行业混合云解决方案,阿里云自研高性能、海量可扩展数据仓库服务、兼容部分 Oracle/Teradata 语法生态,大量应用于阿里巴巴集团内部电商、物流、文娱、广告等业务部门,服务于阿里云的金融、政企、互联网等各行业用户,支持快速构建新一代云化数据仓库服务.阿里云混合云>.混合云体验营>.金融智能数仓解决方案.互联网+...
来自: 解决方案
数据总线Datahub
数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务,它提供流式数据的发布(Publish)和订阅(Subscribe)的功能,拥有高吞吐量、高稳定性、低成本等特点,与阿里云大数据生态系统完美打通,让您可以轻松构建基于流式数据的分析和应用。
可以利用数据总线DataHub和实时计算引擎Flink构建实时数仓系统,将数据分为:公共明细层(dwd),公共汇总层(dws),应用结果层(ads),使用Kappa架构构建整个体系.传统Lambda架构的两条链路缩减为一条,大大降低维护成本.统一的Kappa架构.满足业务对实时性的需求,做到了数据复用,减少重复计算与存储;同时使得业务指标口径...
来自: 云产品
大数据专家服务
大数据专家服务是由阿里云大数据技术专家基于多年大数据架构、应用、运维最佳实践经验及方法论为用户提供包含大数据产品技术咨询服务及售后保障全方位的服务.
为客户提供构建和优化大数据体系的技术架构方案咨询服务,覆盖离线/实时数仓体系建设管理、数仓建模管理,数据开发管理,数据安全管理、数据质量管理、数据治理等.大数据解决方案POC.基于计算平台的产品组合,全托管或指导客户完成针对特定数据集和业务场景的功能验证、性能验证,并产出POC报告.大数据搬站迁云方案咨询.为...
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用