基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤9 新建作业，作业名称：flink_uv_job，作业类型：FLINK_STREAM/DATASTREAM，存 储位置：/作业开发/新手任务 文档版本：20201224 56 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤10 更新作业的主要信息，比如完整主类名、作业名称、JAR包资源名称等。...
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
每天自动备份数据，数据容灾能力强，免费支持7天内的任意时间点数据的恢复，有效防范数据误操作，降低业务损失.VPC专有网络.实例部署在利用OverLay技术在物理网络基础上构建的专有VPC虚拟网络上，在TCP层直接进行网络隔离保护.DDOS防护.在网络入口实时监测，当发现超大流量攻击时，对源IP进行清洗，清洗无效情况下可以直接...
来自：
云产品
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统，业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上， 包括如何在云上构建以上业务系统，如何迁移线下 系统到云上，如何割接。 3. 最后介绍了迁移上云后，如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
100Mbps 流量 按使用流量计费 RDS 实例名称 idc-web-db 计费方式 按量付费 地域 华东 1（杭州）可用区 G 数据库类型 MySQL 版本 5.7 分类 基础版 存储类型 cloud_ssd 部署方案 单可用区部署 规格 mysql.n2.medium.1 容量 100 NAS NAS组名 nas 地域 华东 1（杭州）可用区 G 交换机名称 vswitch_2 协议类型 NFS 存储类型 性能...
来自：
最佳实践
相关产品：专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
cloud_essd 硬盘容量 40GiB 公网带宽 根据需要选择按固定带宽或按流量付费（本最佳实践选择按流量付 费）出口带宽 5Mbps 登录密码（自定义）安全加固 Active ECS 地域及可用区 华东 1（杭州）可用区 I（模拟 ECS名称 FlexGW 用户 主机名 FlexGW VPN网 支付方式 根据需要选择预付费或后付费（本实践选择按后付费 – 按量付 ...
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展，更多的企业会使用云计算，且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构（RI）和存储容量单位包（SCU）可以帮助客户灵活的节省成本。 本文提供全链路使用实践，帮助客户快速验证云上服务，更合理 的使用RI/SCU。借助覆盖率指标和智能推荐，有效管理云上资 源成本。 用户价值 使用RI 和SCU，可以灵活抵扣相关资源。随时创建释放， 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务，跨服务高 度灵活，无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘，简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
2.针对大量弹性业务：有一些流量峰值，推荐通过监控核算一定周期的稳定资源和按 量使用的时长，推荐部分 RI+SCU以及按量实例覆盖。3.针对不确定业务：比如新增业务场景，短期内无法评估使用量。建议按照按量运行 1-2个月，借助监控查看稳定的资源，再根据相对稳定的资源购买 RI+SCU。同时，基于以上场景，我们在产品上也将...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
计费模式：按使用流量 公网带宽：5Mbps 安全组 选择默认安全组。配置完成，单击下一步：系统配置。文档版本：2021-07-12 24 资源管理 资源目录 步骤5 在系统配置页面，参考下表示例说明，配置相关参数。配置项 说明 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明：记录下设置的登录密码，后续登录要用到。确认...
基于ECI、RI和EIP降成本方案
场景描述 随着企业逐步将自己的业务搬移到使云上， 越来越多的企业也开始重视云上的使用成 本。 针对客户的使用场景，特别是无状态服务、 易于容器化的场景，基于ECI+RI+EIP的组 合方式能有效降客户成本。预留实例券RI， 可以灵活的抵扣相关资源费用；弹性容器实 例ECI，在资源使用率、启动速度、灵活性、 成本上的具有一定的优势。 本文以部署一个无状态的网站为例，使用 ECI+RI+EIP的组合方式，通过RI抵扣计 算资源费用，按量支付流量费用，旨在能够 帮助客户快速验证云上服务，有效控制云上 资源成本。 方案优势 1.使用RI，可以灵活的抵扣相关资源费 用。 2.使用ECI支作为应用运行环境，更加 灵活、低成本，提高资源使用率。 3.ECI+RI+EIP的组合方式，资源使用率 高，通过RI抵扣计算资源费用，按量 支付流量费用，能有效降低整体成本 费用。 产品列表 专有网络VPC 预留实例券RI 弹性容器实例ECI 弹性公网IP
本文以部署一个无状态的网站为例，使用 ECI+RI+EIP的组合方式，通过 RI抵扣计 算资源费用，按量支付流量费用，旨在能够 帮助客户快速验证云上服务，有效控制云上 资源成本。产品列表 方案优势 专有网络 VPC 1.使用 RI，可以灵活的抵扣相关资源费 预留实例券 RI 用。弹性容器实例 ECI 2.使用 ECI支作为应用运行环境，更加 ...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
多台云服务器进行流量分发的负载均衡 服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升 应用系统的可用性。详见：https://www.aliyun.com/product/slb ECS：Elastic Compute Service，简称 ECS。是阿里云提供的一种基础云计算服 务无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
阿谈、天裵 创建 V1.1 2022-04-14 天裵 CADT迭代 文档版本：20220414 I 基于 DDH+MyBase降本合规最佳实践 前言 前言 概述 本方案通过专有宿主机 DDH和云数据库专属集群 MyBase的组合方案，实现企业上 云成本降低以及满足监管合规的双重需求。名词解释 VPC：Virtual Private Cloud，简称 VPC。基于阿里云创建的自定义私有...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
主机名 prod1，prod2-支付方式 后付费 按量付费 实例规格 2 核 CPU，4GB 内存-文档版本：20210128 33 多账号下企业分账最佳实践 资源规划清单（ecs.c6e.large）镜像 Alibaba Cloud Linux-镜像版本 Alibaba Cloud Linux-2.1903 LTS 64位 系统盘 cloud_essd ESSD云盘 硬盘容量 40GiB-公网带宽 按流量付费-出网带宽 0 不分配...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
购 VPC和交换机）VPC名 vpc-疫情分析 网段 192.168.0.0/16 vswitch名 vsw-疫情分析 可用区 华东 2 可用区 G IPv4网段 192.168.3.0/24 弹性公网 IP 状态 新购（根据实际情况选择新购或已保有，本最佳实践新 购 EIP）支付方式 后付费 公网带宽 按流量付费 带宽 5Mbps 弹性计算资源规划 资源类别 配置项 配置明细 说明 ECS ...
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
支 持按量付费和读写流量包两种方式。按量付费是 0.18元/GB，也就是迁移 100GB的 日志，需要 36元（读和写各 18元）。需要集中一起审计的日志，一般都是配置、事件、告警等日志，不包括业务流量的日 志（业务流量日志一般独立分析、查询即可），所以日志集中审计不会增加多少费用。本章节以云防火墙产品为例，迁移云防火...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
创建实时计算 说明：节约费用，第一天实训先不创建集群，待第二天创建。步骤1 登录实时计算管理控制台，地域:华南1（深圳）。（https://realtime-compute.console.aliyun.com/）步骤2 在首页，单击Flink全托管下的购买。步骤3 参考下图，完成相关配置，并单击确认订单。文档版本：20210803（发布日期）17阿里云最佳实践金融...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
它底层的数据 文档版本：20210416 III 云 ClickHouse冷热数据分层存储最佳实践 前言 流基础设施为阿里双 11异地多活基础架构，为数千下游应用提供实时数据流，已在线上稳定运行 6年之久。您可以使用数据传输轻松构建安全、可扩展、高 可用的数据架构。更多信息，请参见 www.aliyun.com/product/dts 云数据库 RDS MySQL 版：...
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
本地文件永久增量备份，源端重删，全量备份也无惧流量限制.本地虚拟机云上恢复功能无需额外付费.免费的高级功能.云原生服务，学习曲线几乎为0.简易客户端安装，备份策略一键配置.本地纯软部署.无需手动安装客户端即可备份 ECS，NAS，OSS，Tablestore，集中控制台统一操作.云上一键启用.备份策略自动执行，出错短信、电话、...
来自：
云产品
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
文档版本：20210517 1 基于 Elasticsearch的订单检索加速最佳实践 最佳实践概述 高弹性低成本：集群一键平滑弹性扩缩容，灵活应对流量峰谷。API方式可平滑无缝对接用户业务系统。文档版本：20210517 2 基于 Elasticsearch的订单检索加速最佳实践 前置条件 前置条件 为了顺利完成本实践，您需要提前完成以下准备工作：注册...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 企业办公安全一体化 文档编号 196 文档版本 V1.1 版本日期 2021-01-29 文档状态 外部发布 制作人 期会 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-01-29 期会、金文磊 梅杰、天裵 创建 文档版本：20210129 I企业办公安全一体化最佳实践 ...
DataWorks
大数据开发治理平台 DataWorks基于MaxCompute/EMR/MC-Hologres等大数据计算引擎，为客户提供专业高效、安全可靠的一站式大数据开发与治理平台。每天阿里巴巴集团内部有数万名数据/算法工程师正在使用DataWorks，承担集团99%数据业务构建。
大润发与阿里云合作启动数据中台项目，15天完成400TB+数据迁移，并基于飞天平台构建了独有的数据中台体系.客如云依托阿里云大数据平台低成本地建设新零售数据中台，并构建实时大屏、商家画像等应用产品赋能商家客户.利用DataWorks数据建模进行整个数仓的规范化设计，让数据仓建设从“人治”走向“法治”.钱大妈数据中台建设...
来自：
云产品
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
专有网络 类别 配置项 说明 专有网络 名称 VPC_Datasec IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-h 可用区 杭州 可用区 H IPv4网段 192.168.0.0/24 ECS 类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 1（杭州）可用区 H 实例 架构：x86计算 分类：通用型 规格：通用型 g5 ecs.g5.large(2 vCPU,8...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
或已保有，本最佳实践新购交 换机）vswitch名 Vswitch-G 可用区 华东 2 可用区 G IPv4网段 192.168.2.0/24 EIP EIP名称 EIP 用来绑定运维用 ECS 支付方式 按量付费 公网带宽 按流量付费 按量付费 文档版本：20220506（发布日期）52 云上高并发系统改造 附录2 资源清单 带宽 5Mbps ALB ALB名 Alb 支付方式 按量付费 Ip模式 ...
- 产品推荐
- 这些文档可能帮助您