基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 59 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤5 验证，进入 TaskManager，单击容器日志，可查看运行日志信息。步骤6 验证，单击 taskmanager.out，查看标准输出内容。文档版本：20201224 60 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 文档版本：20201224 61 基于 Flink+...
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式，导致容器之间的网 络性能，相比服务器之间直接通信方式，会有一 定程度的下降。阿里云托管版的K8S容器服务， 支持自研的Terway网络插件，该插件可以有效 减少因容器而引入的网络性能下降，可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践，指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
（操作步骤请参见进入容器组的 docker终端）文档版本：20220126 31 搭建高性能 ACK集群最佳实践 跨可用区性能测试对比 步骤3 在两个 pod之间互 ping（从一个 pod上 ping另一个 pod的 IP地址），记录平均用时。可用区 F->G 可用区 G->F 平均值：1.69 ms。步骤4 分别远程连接两个 pod的 host节点，进入命令行终端。（操作步骤...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
步骤5 在上方选择 SQL操作>SQL窗口，输入如下命令，并单击执行，进入数据库。use game_all 文档版本：20220121 99 游戏业务分区合服最佳实践 分区合服业务改造 4.3.5.2.测试合并数据 测试演练目的：（1）验证数据库脚本正确，数据写入符合预期。（2）记录数据合并耗时，以便优化耗时较大的操作，减少整体停机时间。另：因本...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 2d31b063df60 nvcr.io/nvidia/rapidsai/rapidsai:0.8-cuda10.0-runtime-ubuntu16.04-gcc5-py3.6"/usr/bin/tini-/b…"7 seconds ago Up 5 seconds 0.0.0.0:8786-8787->8786-8787/tcp,0.0.0.0:8888->8888/tcp cocky_kepler 步骤5 进入容器执行环境，当...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
单机部署图搜应用 步骤5 进入容器执行环境，当进入容器环境后，提示符变为：(rapids)root@2d31b063df60:/rapids/notebooks#。root@rapids:~#docker exec-it 265b3f3e4b94/bin/bash(rapids)root@2d31b063df60:/rapids/notebooks#步骤6 进入容器后，如果要退出，输入 exit退出，这里不退出。(rapids)root@265b3f3e4b94:/...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可 以挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存 储，用户无需修改应用程序，即可无缝迁移业务系统上云。更多信息，请参见：https://www.aliyun.com/product/nas 混合云...
云速搭自定义扩容ACK集群
本实践借助云速搭 CADT，针对ACK集群自定义扩容场景，以“CADT控制台”和“CADT API”两种不同的实现方式进行演示。
云速搭自定义扩容 ACK集群 文档版本信息 云速搭 自定义扩容 ACK集群 最佳实践 文档版本：20220818（发布日期）云速搭自定义扩容 ACK集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭自定义扩容 ACK集群 文档编号 311 文档版本 V1.0 版本日期 2022-08-18 文档状态 对外发布 制作人 厉博 审阅人 文档变更...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
广泛应用于容器存储、大数据分析、Web 服务和内容管 理、应用程序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级 存储。详见：https://www.aliyun.com/product/nas 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种弹性可伸缩的 计算服务，助您降低 IT 成本，提升运维效率，使您更专注于核心...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
ags config sls 如果 Pod存在本机，AGS 会从本地将 Pod日志查询出来，所有 flag兼容原 argo命 令。如果 Pod已经被删除，AGS会从阿里云日志服务来查询日志，默认返回最近 100条 日志，可以通过-l flag来指定到底返回多少条日志。文档版本：20191127 38 基因计算工作流最佳实践 工作流配置 4.5.5.创建 workflow 步骤1 执行...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
容器服务 Kubernetes 版简化集群的搭建和扩容 等工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最佳的 Kubernetes 容器化应用运行环境。详见：https://www.aliyun.com/product/kubernetes 容器镜像服务 ACR：Alibaba Cloud Container Registry，默认实例版提供基础的 容器镜像服务，包括安全的应用镜像托管...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
进入容器内操作。docker exec-it myjenkins/bin/bash cd/opt/tar-zxvf apache-maven-3.6.3-bin.tar.gz mv apache-maven-3.6.3 maven export M2_HOME=opt/maven export PATH=$PATH:$M2_HOME/bin ln-s/opt/maven/bin/mvn/usr/bin/mvn 4.执行 mvn-version 5.maven安装成功。输入 exit退出容器 bash。步骤5 安装 kubectl。后文...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
步骤1 安装 kubectl客户端，请参考：https://kubernetes.io/docs/tasks/tools/install-kubectl/ 步骤2 登录 ACK控制台，进入容器服务集群详情。步骤3 通过以下方式配置 kubeconfig。1.编辑 config文件（删除其之前的内容），复制对应的内容到 config中：文档版本：20220331 28 微服务应用问题定位及故障演练 问题定位及故障...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
容 器服务 ACK在部署时，会自动安装 helm工具，因此这里不需要再安装了。1.#helm install piggymetrics piggymetrics 2.NAME:piggymetrics-1583419148 3.LAST DEPLOYED:Thu Mar 5 22:39:08 2020 4.NAMESPACE:piggymetrics 5.STATUS:deployed 6.REVISION:1 7.TEST SUITE:None 创建成功后，到控制台查看，无状态应用：17 企业...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
您可以通过 ECI，秒级启动上千个 Pod，提升业务扩容速度而无需提前购买和管理底层 ECS 服务器，并仅为容器实际使用的资源付费（按量按秒计费），降低业务运行成 本。详见：https://www.aliyun.com/product/eci 容器镜像服务 ACR：提供企业级镜像安全托管能力，具备大规模镜像分发能力，支持千节点镜像并发拉取，保障业务...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
并且可以通过 dig命 令查看解析情况，流量可以分发到不同的集群。文档版本：20220209 52 异地双活场景下的数据双向同步 服务部署 文档版本：20220209 53 异地双活场景下数据库双向同步 数据双向同步 3.数据双向同步 3.1.配置正向链路 步骤1 进入 DTS控制台，配置同步链路。步骤2 选择源实例信息和模板实例信息，授权白名单...
利用低成本链路完成业务数据迁移上云
场景描述 随着云计算被越来越多的客户所接受，除业务系 统上云外，很多客户已经把业务数据搬迁上云。 业务数据量一般都比较大，迁移上云需要大量的 网络带宽，BGP费用比较高。阿里云对用户开 放所需地域购买静态单线共享带宽包的权限（移 动/联通/电信均可），可用为迁移数据有效降低 成本。 解决问题 1.业务数据上云网络成本高 产品列表 专有网络VPC 云服务器ECS 网络存储NAS 共享带宽包
步骤2 鼠标启动到挂载地址，可看到具体命令信息,这里复制V4的挂载命令。本示例是：V4Mount:sudo mount-t nfs-o vers=4.0,noresvport 32df14b0e9-oyq18.cn-shanghai.nas.aliyuncs.com://mnt 10 文档版本：20191230 利用低成本链路完成业务数据迁移上云 配置云上环境 每个NAS的信息都是不同的。登录ECS挂载NAS 步骤1 登录ECS...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
分别在 node2、node3、node4节点上执行 2.4章节步骤 6中生成的 kubeadm join命 令。本节以 node2节点为例介绍操作步骤。操作步骤 步骤1 将 node2 节点加入集群。node3、node4按同样的方式加入集群。步骤2 在 Master节点 node1上确认所有节点都处于 Ready状态。kubectl get nodes 至此，K8S集群部署完成。文档版本：20210520...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
基于 ALB统一流量调度和监控 最佳实践 业务架构 场景描述 企业在走向容器化过渡阶段，内部同时存在 ECS应用和容器应用的情况，在多域名业 务场景下，为了对应用的入方向流量进行统 一的调度和监控，可通过 ALB快速完成内 部应用统一流量的管控。典型场景 多域名转发到混合应用类型场景。方案优势 – 高弹性，高并发 – 减少...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
文档版本：20240226 23 微服务引擎的线上流量治理 无损下线 步骤5 进入 ACK容器服务控制台，我们参考上一小章节“服务接入”，将基于 Spring Cloud 的 productservice应用接入到 MSE微服务治理。步骤6 在微服务治理中心的应用列表，我们能够查询到新加入的 productservice。文档版本：20240226 24 微服务引擎的线上流量治理...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可以挂载到弹性 计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计算 BCS、高性能 计算 EHPC，AI训练 PAI等计算业务上提供高性能的共享存储，用户无需修改应 用程序，即可无缝迁移业务系统上云。更多信息，请参见云文件存储 NAS简介 ...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
- 产品推荐
- 这些文档可能帮助您