利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
配置Hologres 步骤1 在CADT架构图中双击Hologres图标，跳转到实例管理控制台。步骤2 查看实例详细信息，包括实例配置、用户管理、数据库管理以及监控告警。步骤3 通过网络信息，我们可以获取到hologres的endpoint信息。交互式分析Hologres为 您提供单独的域名访问地址Endpoint，您可以通过该地址，访问阿里云不同区域的 ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
架构图 本实践主要以流处理为主线，搭建实验环境，构建在线用户行为分析平台：2.2.核心模块 游戏服（gameserver）：基于 Spring-boot模拟的游戏服务器，提供 Restful API模 拟用户行为数据的生成（一种：生成的用户行为数据直接写到 Kafka，另一种：生 成的用户数据写入到日志文件），扮演消息生产者角色，代码下载：...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
基于弹性计算的 AI推理 最佳实践 部署架构图：场景描述 本方案适用于使用 GPU进行 AI在线推理的场景。在推理之前，模型已经训练完成。例如,刷脸支付 中，我们在刷脸的时候，就是推理的一个过程。再 比如图像分类，目标检测，语音识别，语义分析等 返回结果的过程。解决问题 使用 GPU云服务器搭建推理环境 使用容器服务 ...
S级游戏多地域批量开服
本实践将利用多地域模板创建应用，基于模板传参的方式，实现游戏全球多地域开服，并在这个过程中，详细介绍云管平台对接过程中所使用到CADT API以及使用方式。
（注 意，此处只是从模板拷贝出来一个 CADT应用，并未正式创建资源）步骤4 找到应用，并点击编辑架构图，校验生成的应用是否符合预期。文档版本：20220628 22 S级游戏多地域批量开服 基于模板创建应用 记录 AppId备用：文档版本：20220628 23 S级游戏多地域批量开服 部署应用 3.部署应用 在云速搭 CADT中，应用是用来最终...
轻量级GPU部署云游戏最佳实践
随着AI深度学习，视频处理，科学计算以及图形可视化等应用场景的普及，GPU的市场需求越来越大，但单颗物理GPU起步至超大规模弹性计算带来的计算能力过剩成本上升问题也越来越明显。轻量级GPU的诞生打破了传统直通模式的局限，可以提供比单颗物理GPU更细粒度的服务，从而让客户以更低成本、更高弹性开展业务。
步骤1 在 CADT架构图中双击云游戏 Windows服，跳转到 ECS控制台。步骤2 在 ECS控制台记录下 EIP地址，并用 ssh登录 GPU服务器。文档版本：20220211 25 轻量级 GPU部署云游戏 番外篇-街头霸王 6.1.2.安装依赖库 步骤1 安装 Microsoft Visual C++ 2010 可再发行组件包(x86)。1.单击:...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
系统基于模板生成应用架构图：文档版本：20210329 5 云上成本优化 workshop 架构设计 注意：业务 k8s集群，使用了 EIP暴露 API Serve（可将 r EIP加入到后面的共享带宽包，同时，为集群打上了标签 team：team1）K8s集群，通过统一的 NAT网关，访问外网 EMR集群，采用了高可用的部署方式（同时，为集群打上了标签 team：team...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做 ETL之后，同步到 Hologres进行实时分 析，之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
企业上云 workshop-IDC业务迁移上云 部署架构图 场景描述 本文模拟了如下场景：1.线下 IDC环境中部署了一个业务系统，业务是利用 wordpress系统提供网站服务。2.本文详细介绍了如何将以上线下系统搬迁到云上，包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。3.最后介绍了迁移上云后，如何部署安全...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
适用场景◆数据迁移链路的高可用◆跨云迁移过渡期架构◆读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。使用数据库网关做专线和公网互备。流量逐渐灰度验证，保障迁移平滑过渡。安全：原生的多租户系统，...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
系统基于模板生成应用架构图：文档版本：20210519 8 新零售商超基于 Serverless服务化改造 基础环境搭建 注意：表格存储的命名必须全局唯一，比如这里的 qiling-ots 这个应用部署中，有一些 CADT暂时没有支持部署，后续根据文档进行手动配置。我们也可以新建空白应用，根据资源规划，手工创建架构图，详细步骤请参考使用文 ...
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
至此，两个API业务流程已经完成创建 步骤14记录API调用的Appkey和AppSecret 选择API调用>>服务管理，记录对应的Appkey和AppSecret3.DataV大屏展示 3.1.DataV创建项目 步骤1 在CADT架构图中，双击DataV图标（图中datav），在底部滑出栏点击前往控制 台。步骤2 在DataV控制台首页，单击创建PC端看板。步骤3 通过浏览器搜索...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
使 用 CADT模板中的步骤通过模板创建架构图。步骤2 保留架构图中分公司 A账号 1所需的资源，删除其他资源。步骤3 通过模板创建的架构图，ECS中的登录密码未包含在模板中，在部署应用前需要手工 输入。双击架构图中的 ECS实例，滚动到密码部分，填入管理员密码。文档版本：20210128 22 多账号下企业分账最佳实践 搭建模拟...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
更新架构图和业 务流程图；2.增加省份信息和 商品信息维度聚合表 sql;V1.2 2021-05-06 明誉 1.修改文档部分内容 描述；2.增加对于DIM维表 存储引擎的选择说明 V1.3 2021-05-19 弦望、敬海 文档细节优化 V1.4 2021-05-21 明誉 文档细节优化 V1.5 2021-06-01 明誉 文档细节优化 V1.6 2021-07-08 川知、衾影 明誉 1、金融行业 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
部署 Kafka客户端 步骤1 在 CADT架构图中双击 ECS图标，进入 ECS控制台。文档版本：20220223（发布日期）33 基于 Flink的资讯场景实时数仓 基础环境部署 步骤2 点击远程连接，输入用户名 root和密码，单击确定。步骤3 安装 java环境。yum install-y java-1.8.0-openjdk-devel.x86_64 文档版本：20220223（发布日期）34 基于...
大数据workshop
大数据workshop
更新架构图和业务流程图；2.增加省份信息和商品信息 维度聚合表 sql;V1.2 2021-05-06 明誉 1.修改文档部分内容描述；2.增加对于DIM维表存储引擎 的选择说明 V1.3 2021-05-19 弦望、敬海 文档细节优化 V1.4 2021-05-21 明誉 文档细节优化 V1.5 2021-06-01 明誉 文档细节优化 V1.6 2021-06-18 明誉 增加对一些异常错误问题处 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
- 产品推荐
- 这些文档可能帮助您