基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
日期 作者 审核人 说明 V1.0 2020-10-30 适己 敬海，木久 创建 V1.1 2020-11-13 适己 攸恒 需求确认 V1.2 2020-11-18 适己 张明远 文档格式修改 V1.3 2021-01-17 久诚 敬海 换为Flink V1.4 2021-02-26 川知 久诚 添加dataworks处理 更新Flink，Hologres部 V1.5 2021-11-01 厉博 洁谦 分内容。修复部分材料过期；V1.6 2021-...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
基于RAM的访问权限控制及LDAP认证 基于RBAC的自定义角色与字段级别访问权限 支持配置集群索引级别的读写限流提高稳定性 对查询请求进行开销追踪及逻辑隔离提高稳定性 冷热查询共享节点上提供CPU及内存隔离熔断 查询并发优化大幅提升查询性能 时间范围数据裁剪提升含时序查询性能 主副本分片实时增量同步提升写入性能 bulk...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
多台云服务器进行流量分 发的负载均衡服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除 单点故障提升应用系统的可用性。详见：https://www.aliyun.com/product/slb RDS：关系型数据库服务（Relational Database Service，简称 RDS）。一种稳定 可靠、可弹性伸缩的在线数据库服务。基于阿里云分布式文件系统和 ...
- 产品推荐
- 这些文档可能帮助您