基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤1 运行 Git命令，进行本地下载游戏服代码，下载地址：https://code.aliyun.com/best- practice/game-server-188.git 步骤2 采用你熟悉的 IDE工具打开项目，比如这里采用了 IntelliJ Idea演示，详情见官网：https://www.jetbrains.com/idea/ （本模拟项目采用了典型的 MVC分层方式，进行服 务的构建）。步骤3（可选）本...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
yum install-y java java-1.8.0-openjdk-devel.x86_64 ssh slave1"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave2"yum install-y java java-1.8.0-openjdk-devel.x86_64"ssh slave3"yum install-y java java-1.8.0-openjdk-devel.x86_64"步骤5 下载并解压缩 Hadoop 2.10.1文件包。1.下载软件包，下面两...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
发布日期：20220320 I 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 方案架构 用户通过域名访问推理服务，如 demo中通过 notebook提供网页式的运行环境，推理服务器部署在容 器中模型和文件都存放在共享存储 NAS上。发布日期：20220320 II 企业上云实践 基于弹性计算的 AI推理最佳实践|演示环境说明 最佳实践...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 部署完成后，重启 Hive MetaStore和 HiveServer2 步骤3 由于在创建 EMR集群时我们指定了 RDS for MySQL实例的数据库作为 Hive的元数 据库，但是此时元数据库还未创建，因此在 EMR控制台可以看到 Hive MetaStore服 务异常停止。文档版本：20210721 25 自建Hive数据仓库跨版本迁移到阿里云 EMR 创建 EMR集群 通过查看 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
下载安装之后默认的目录为：/usr/lib/jvm/，查看目录：根据实际情况来配置环境变量，如下示例(注意先查看自己当前的版本替换 java home路径，下面实例的版本可能和你安装的不一致)：JAVA_HOME=usr/lib/jvm/jre-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64 PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
目前，FastGPU提供了三个 demo，分别是 GTC-demo，imagenet 图片训练，PyTorch框 InsightFace，Mxnet 人脸识别训练 Bert模型，Tensorflow语音识别训练 系统架构 大致分成 4个步骤：•在开发环境/Clustershell定制 FastGPU相关参数•根据配置拉起环境•训练测试完毕，保存结果•销毁环境，释放资源 1 FastGPU极速 AI推理 ...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
将下载的安装包解压至 C:\ 文档版本：20220325 83 E-HPC混合云渲染最佳实践 附录 进入 cygwin64目录，安装 Dokan 文档版本：20220325 84 E-HPC混合云渲染最佳实践 附录 步骤4 安装 NFS客户端：打开服务器管理器。注：如使用 SMB协议挂载 NAS则无需安装 NFS客户端，直接挂载。文档版本：20220325 85 E-HPC混合云渲染最佳实践...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
基于 Elasticsearch的订单检索加速最佳实践 业务架构 场景描述 随着企业信息化程度越来越高，核心业 务数据存储在传统关系型数据库中不可避 免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊 查询（建立普通索引完全不起作用）。虽然 数据库自身在不断完善，但效果有限且没办 法灵活扩展，...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
2.MaxCompute端创建外部项目，镜像 Hive元数据，可以直接访问 Hive元数据服 务，并将元数据信息映射到 MaxCompute的外部项目（External Project）中 操作流程 1.资源创建：使用阿里云速搭 CADT一键完成业务部署图中的云资源创建，部分暂 时不支持 CADT拉起的资源，需要手动在控制台创建和配置，如 DataWorks工作 空间。2....
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
DBS通过IPSec VPN备份自建数据库 场景描述 解决的问题 客户业务系统部署在 IDC或者公有云环境，对业 自建数据库的云上/跨云备份需求 务数据有云上备份需求。在客户交流过程中，基 DBS提供了完善的备份机制和 API 于数据高可用和灾备需求，要求将数据备份至阿 OSS的分层存储机制降低备份集储存成本 里云OSS的存储空间，同时...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
OpenStack迁移DDH 最佳实践 业务架构 场景描述 解决问题 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 1.如何将OpenStack中的云服务器迁移 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 DDH上。上云的同时，显著降低成本。2.如何使用DDH构建云上环境。产品...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
阿里云 Elasticsearch 提供 100%兼容开源 Elasticsearch的功能，以及 Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服 务。与开源社区背后商业公司 Elastic战略合作，为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。Logstash 文档版本：20210802 III 自建 Elastic...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
构建单 POD工作流 阿里云最佳实践分享群 产品列表 最佳实践频道 容器服务 Kubernetes版 文件存储 NAS 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 基因计算工作流最佳实践 文档版本：20191127 II 基因计算工作流最佳实践 文档版本信息 文档版本...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/sls DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式数据的分析和应用。详见：https://www.aliyun.com/product/datahub Maxcompute：大数据计算服务(MaxCompute...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
云服务器 ECS免去了您采购 IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服 务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见：https://www.aliyun.com/product/ecs 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
在 SQL Server网络配置中开启 TCP/IP协议 步骤1 打开 SQL Server配置管理器。文档版本：20210402 127 HBR云上统一备份 ECS自建SQL Server备份 步骤2 在 SQL Server网络配置→MSSQLSERVER 的协议→鼠标右键单击 TCP/IP，单击启用。步骤3 重启 SQL Server服务器。10.8.在 HBR中注册 SQL Server 使用混合云备份服务（HBR）来...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
详见：https://www.aliyun.com/product/slb 弹性加速计算实例（EAIS）：弹性加速计算实例 EAIS（Elastic Accelerated Computing Instances）是一款阿里云提供的性能卓越、成本优化、弹性扩展的 IaaS（Infrastructure as a Service）级 别 弹 性 计 算 服 务。详见：https://help.aliyun.com/document_detail/185066.html ...
基于云速搭CADT批量维护云资源标签
通过云速搭快速部署一套企业IT管理系统，所有资源部署在区域为成都的 region。模拟一套企业财务管理系统，以及两个子系统（资金对账系统和合同管理系统），实现通过CADT的探查一键还原系统架构，并进行批量维护标签的功能，解决运维同学管理标签难的问题。
专有网络由逻辑网络设备（如虚拟路由器，虚拟交 换机）组成，可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境，实现应用的平滑迁移上云。详见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的 云计算服务，助您降低 IT 成本，提升...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
本案例以 FTP服务器为例，具体 FTP服 26 文档版本：20201013 数据迁移上云最佳实践 使用阿里云在线迁移服务进行数据迁移 务器搭建过程本文不再赘述。3.2.创建目的地址 步骤1 选择在线迁移服务>数据地址，并选择“OSS”的数据类型，数据所在区域选择“华南 1（深圳）”，然后点击创建数据地址 步骤2 在跳出的创建数据窗口中...
- 产品推荐
- 这些文档可能帮助您