数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
如下图：需要安装python、git、nodejs等软件，具体安装步骤参见附件中的samplecode.txt 步骤3 修改nginx配置，打开/etc/nginx/nginx.conf，改为如下内容，参见附件中的 sample-nginx.conf 文档版本：20200331 34数据湖-在线学习场景数据分析 应用场景 步骤4 程序启动以后测试页面，在浏览器中打开 http://公网地址/app1/...
企业级云灾备与数据管理
本方案以备份 ECS 文件为例，介绍如何部署一个简单的云灾备环境，以满足常见的数据保护需求。
查看详情云原生企业级数据湖基于对象存储 OSS 构建的数据湖，可对接多种数据输入方式，存储任何规模的结构化、半结构化、非结构化数据，打破数据湖孤岛。无缝对接多种数据分析产品，对存储在对象存储 OSS 中的数据直接进行大数据分析，洞察业务价值。同时，数据湖提供多种存储类型的冷热分层转换能力，通过数据全生命周期...
来自：
解决方案
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
使用 oss对象存储方案，计算存储分离节省客户存储成本，并为以后数据湖和多 计算框架做铺垫。推荐客户将数据格式存储为 Parquet，性能会有非常大优化。Databricks 数据洞察与阿里云其它产品（Kafka、Redis、MongoDB、Elasticseach、RDS和 MaxCompute等）进行了深度整合，支持以这些产品作为 Spark计算引擎的输入源或者输出...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
通过 RAM，您可以集中管理您的用户（比如员工、系统或应用程序），以及控制用户可以访问您名下哪些资源的权限。更多信息，请参见：help.aliyun.com/document_detail/28672.html NAT网关：NAT网关（NAT Gateway）是一款企业级的公网网关，提供 NAT代 文档版本：20210224 III 游戏数据运营融合分析 前言 理（SNAT和 DNAT）、...
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务（JindoFS服务）是一款云原生数据湖存储产品。基于统一的元数据管理能力，在完全兼容HDFS文件系统接口的同时，提供充分的POSIX能力支持，能更好地满足大数据和AI等领域的数据湖计算场景。
基于统一的元数据管理能力，在完全兼容 HDFS文件系统接口的同时，提供充分的 POSIX能力支持，能更好地 满足大数据和 AI 等 领 域 的 数 据 湖 计 算 场 景。详见：https://help.aliyun.com/document_detail/405089.html EMR：开源大数据平台 E-MapReduce（简称“EMR”）是云原生开源大数据平台，向客户提供简单易集成的 ...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
数据仓库与数据湖.数据库上云优选，RDS MySQL 99元/年起，更享超多优惠！数据库上云优选，RDS MySQL 99元/年起，百款规格年付直降12%起，5年付直降37%起！阿里云拥有强大且丰富的云数据库产品家族，涵盖关系型数据库、非关系型数据库、数据仓库、数据库生态工具四大版块，可以为企业数据生产和集成、实时处理、分析与发现、...
来自：
云产品
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
理想情况下，授权机制可以利用身份认证机制，以便当用户登录系统（例如集 文档版本：20200330 3 EMR集群安全认证和授权管理 阿里云 EMR集群的用户认证和访问授权 群）时，将根据其在整个系统中对应用程序，数据和其他资源的授权，对他们进行透 明授权。授权有多种方式，从访问控制列表（ACL）到 HDFS 扩展 ACL，再到使用 ...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
数据框架，能显著提升数据湖及数据仓库性能。配合资源管理工具 FastMR 快 速构建大数据计算集群，全面提升研发效率。文档版本：20230801 4 倚天ECS实例加速Flink运行 最佳实践概述 VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
二维火专注于云计算餐饮软件系统研发和应用。其大数据团队通过阿里云实时计算Flink+Hologres实现百亿级数据高并发、秒级分析处理，并向客户提供80多种不同类型的报表，包括：营业、订单、菜品、会员等报表，为店铺发展提供多维度分析透视和业务探索.查看案例详情.通过实时计算Flink版产品，微淼构建了完善的实时数仓存储...
来自：
云产品
阿里云解决方案基因专题
阿里云解决方案包括通用解决方案, 行业解决方案和生态解决方案，沉淀阿里云十年、百万用户最全面的业务场景，结合阿里巴巴集团技术创新能力，提供云原生、数据智能、零售、金融、制造等多个领域的解决方案。
围绕基因数据，构建存储数据湖，提供长期经济的存储方案。围绕数据的开放，分析流程标准，建立Bio-IT社区.海量数据管理，完整社区生态.无需前期大量时间和费用投入，来购买和维护基础设施，你可以立刻从阿里云获得可靠的计算和存储资源。根据您的需要，阿里云可以短短时间内，从零扩展到几千台机器，完全按照业务需求进行...
来自：
解决方案
E-MapReduce
阿里云E-MapReduce(简称EMR)是阿里云云原生数据湖的核心计算引擎，全面支持Hadoop、Spark、HBase、Hive、Flink等大数据组件，为客户提供企业级开源大数据平台服务。通过有效弹性伸缩和数据分层存储机制，相较于传统HDFS固定集群方式，可节省50%以上的费用，同时支持创建抢占式实例，相比按量付费的购买方式，可节省50%~80%的费用。
EMR用户社区.EMR用户社区.EMR Serverless Spark 版.向量检索 Milvus 版.EMR用户社区.EMR Serverless StarRocks 入门版...数禾云上数据湖最佳实践.Delta Lake在Soul的应用实践.阿里云 EMR Delta Lake 在流利说数据接入中的架构和实践.可根据不同业务需求场景进行产品类型选择.开源大数据平台 E-MapReduce与自建Hadoop集群对比.
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
集成对数据湖（OSS或Hadoop HDFS）的访问分析，支持外表映射、Spark直接访问方式开展数据湖分析；在一套数仓服务和用户接口下，实现湖与仓的关联分析.支持流式采集和近实时分析.支持流式数据实时写入并在数据仓库中开展分析；与云上主要流式服务深度集成，轻松接入各种来源流式数据；高性能秒级弹性并发查询，满足近实时...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
亚秒级交互式分析(OLAP).采用可扩展的MPP架构全并行计算，向量化算子发挥CPU极致算力，ORC格式列存优化索引，SSD存储优化IO，支持PB级数据亚秒级交互式分析体验.高性能主键点查(Serving).基于行存表的主键索引和查询引擎的短路径优化，支持每秒数十万QPS高性能...支持数据湖场景，支持JSON等半结构化数据，OSS、DLF简易入仓.
来自：
云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
通过阿里云文件存储CPFS和对象存储OSS数据湖存储及数据自由流动解决方案，满足从海量数据采集到清洗、标注、训练到归档的数据自动化，提供了自动驾驶研发云的统一数据平台，极大提升了研发效率.文件存储 CPFS.对象存储 OSS.网络安全升级支持IPV6.杭州悦数科技有限公司与阿里云计算巢达成合作，NebulaGraph 作为首款图数据库...
来自：
云产品
数据库备份DBS
数据库备份（Database Backup，简称DBS）是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护，包括企业数据中心、其他云厂商、混合云及公共云。通过使用阿里实时数据流技术，实现数据库秒级备份，秒级恢复，保障数据安全。
查看更多商品.SQL Server是发行最早的商用数据库产品之一，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持.云数据库RDS SQL Server 版.高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求.云数据库 Redis 版.云数据库MongoDB版支持ReplicaSet和...
来自：
云产品
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
构建数据库灾备中心 产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP（EIP）负载均衡 SLB 云数据库 RDS MySQL 数据库备份服务 DBS 对象存储服务 OSS 数据湖分析服务 DLA 数据管理服务 DMS 数据传输服务 DTS 云速搭 CADT 文档模板（手册名称）/文档版本信息 Oracle数据库与应用迁移Polar...
- 产品推荐
- 这些文档可能帮助您