基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践 业务架构 背景描述 在互联网、游戏行业中，常常需要对用户行 为日志进行分析，通过数据挖掘，来更好地 支持业务运营，比如用户轨迹，热力图，登 录行为分析，实时业务大屏等。当业务数据 量达到千亿规模时，常常导致分析不实时，平均响应时间长达 10分钟，影响业务的正...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤。方案优势 易用性 您可以简单选择所需 ECS机型（CPU、内存）与磁盘，并选择所需的软件，进行 自动化部署。经济性 您可以按需创建集群，即离线作业运行结束就可以释放集群，还可以在需要时动 态地增加节点。深度整合 E-MapReduce 与阿里云其它产品（例如...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
更 多 信 息，请 参 见 云 架 构 设 计 工 具 CADT 简介 https://help.aliyun.com/product/182827.html 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于阿里云创建的自定义 私有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内 创建和管理云产品实例，比如 ECS、负载均衡、RDS等。在部署云...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
适用场景 自建 Hadoop集群搬迁到 MaxCompute 自建 Hbase集群搬迁到云 Hbase 自建 Kafka或服务器数据实时同步到 MaxCompute 自建 Azkaban搬迁到 Dataworks 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20210723 1 自建Hadoop迁移MaxCompute 最佳实践概述 方案优势 安全性：基于 IPSec ...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大数据近实时数据投递 MaxCompute 最佳实践 业务架构 最佳实践 解决问题 场景描述 混合云环境下，现有业务系统零改造，打通数据 本文介绍离线大数据场景使用 MaxCompute构建云 上云链路。上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
EMR集群安全认证和授权管理 最佳实践 业务架构 场景描述 解决问题 阿里云 EMR服务 Kafka和 Hadoop安全集群使用 1.创建基于 Kerberos的 EMR Kafka和 Kerberos进行用户安全认证，通过 Apache Ranger Hadoop集群。服务进行访问授权管理。本最佳实践中以 Apache 2.EMR服务的 Kafka和 Hadoop集群中 Web服务器日志为例，演示基于 ...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品，提供用户在云上使用开源技术建设数据仓 库、离线批处理、在线学习、即时查询、机器学习等场景下的大数据解决方案。PT测试：Power Test(PT)功耗测试，TPC-DS用于大数据性能测试的方法。大数据实例本地盘：阿里云为了...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
适用场景 日志采集、处理及分析 日志使用 Flink实时写入 HDFS 日志数据实时 ETL 日志 HIVE分析 基于 DataWorks一站式开发 数据治理 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20201020 1 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 方案优势 大数据一站式开发，完善的...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
技术架构 湖仓一体方案涉及到自下而上三个层面的打通：1.网络层：将 MaxCompute数仓集群与 Hadoop数据湖集群打通 2.存储层：MaxCompute读取 Hadoop HDFS数据，通过智能算法缓存热数据 3.计算层：MaxCompute读取存放在 Hive的元数据，实现 DB级镜像。文档版本：20220402 1 MaxCompute湖仓一体方案 最佳实践概述 业务部署 1....
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
本实践方案提供如下场景的最佳实践：基于 IPSec VPN隧道+DistCp（Hadoop原生工具），将数据迁移到阿里云 EMR集 群，目标存储包括 HDFS，阿里云 OSS和阿里云 EMR的 Jindo 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 安全性 基于 IPSec VPN/专线的方式进行数据安全传输。低成本 在阿里云...
边缘安全加速 ESA 技术解决方案
ESA边缘安全加速基于全球3200+节点，提供边缘加速、边缘安全、边缘计算的产品能力，费用构成简单易懂，提供丰富的监控报表、日志工具，为客户网站提供一流性能体验。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台边缘安全加速 ESA产品概述产品功能选型与定价入门与试用技术解决方案相关资源控制台文档联系我们了解ESA技术解决方案全球3200+边缘节点，为应用程序提供全球性能优化、应用安全和就近计算能力。立即购买免费试用边缘安全加速 ESA...
来自：
云产品
云上公网架构设计和安全管理
云上公网的设计可以帮助企业更加统一、安全的管理自己的云上互联网出入口，同时可以实现统一监控运维和公网的成本优化。
负载均衡 NAT网关 转发路由器 云企业网 共享带宽 弹性公网IP DDoS防护 Web应用防火墙 云防火墙 应用场景 技术方案的广泛应用场景 企业级网络安全架构 集团IT部门需要对整体云上公网出入口进行监控和管理，防止外部攻击以及内部异常访问。互联网流量审计管理 跨国公司/金融公司需要对所有跟互联网访问相关的VPC进行流量审计...
来自：
技术解决方案
云架构必修课：云上高可用架构
业务的持续稳定可服务，决定着企业对客户的服务质量，是企业发展的基础。而应用部署的高可用架构对于业务的稳定与发展起着至关重要的作用，本方案从企业上云最基础的需求出发，针对可能遇到的单点故障风险，介绍了经典的“业务上云高可用架构”方案设计。
软件技术方案复杂，维护成本高 需要专业的开发、测试、运维团队来保持架构的更新迭代。运维 支持跨可用区容灾和产品自动更新 故障自动恢复，无需人工介入；自带多种监控管理，运维专家7*24小时在线服务。可靠性不足 应用系统的服务能力受限于单一节点的性能，存在性能瓶颈。单一节点故障，整个业务系统将不可用。稳定性 ...
来自：
技术解决方案
卓越效能，极简运维，Serverless高可用架构
本文推荐采用Serverless高可用架构方案，支持服务托管、弹性伸缩和按量付费，减少企业资源管理和性能成本优化的工作，通过高可用的配置，避免可能遇到的单点故障风险。
本文推荐采用Serverless高可用架构方案，支持服务托管、弹性伸缩和按量付费，减少企业资源管理和性能成本优化的工作，通过高可用的配置，避免可能遇到的单点故障风险。卓越效能，极简运维，Serverless高可用架构 本文推荐采用Serverless高可用架构方案，支持服务托管、弹性伸缩和按量付费，减少企业资源管理和性能成本优化...
来自：
技术解决方案
企业云上网络架构规划
企业云上网络架构规划方案能够为企业提供面向业务的网络架构，确保业务的可靠性，并保持架构的可扩展性和可持续性，以满足未来企业业务增长所需的资源扩容和架构升级。
企业云上网络架构规划方案能够为企业提供面向业务的网络架构，确保业务的可靠性，并保持架构的可扩展性和可持续性，以满足未来企业业务增长所需的资源扩容和架构升级。企业云上网络架构规划 企业云上网络架构规划方案能够为企业提供面向业务的网络架构，确保业务的可靠性，并保持架构的可扩展性和可持续性，以满足未来企业...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您