基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
关键技术选型 1.1.ClickHouse vs Presto 面对海量的数据，我们如何进行数据库的选项，这里对比了开源的两种常见分析性数 据库。ClickHouse对数据采用有序存储的方式，其核心思想是充分利用了磁盘批量顺序读写 的性能要远远高于随机读写的特征，并且结合 LSM tree的设计进一步进行优化，使得 写性能达到最优（可达到 200MB/S...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务，通过加密通道的方式实现企业数 据中心、企业办公网络或 Internet终端与阿里云专有网络（VPC）安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN，不仅可以更方便的配置和...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
MaxCompute提供了外网、经典网络和VPC网络三种服务地址供您选择，不同的 服务地址对您的下载计费结算有不同影响。如果您未配置TunnelEndpoint，则 Tunnel可能自动路由到公网，从而产生下载费用。详情请参见Endpoint。（https://help.aliyun.com/document_detail/34951.html）步骤2 运行客户端。运行bin目录下的MaxCompute...
媒体处理MPS
阿里云媒体处理（ApsaraVideo for Media Processing，原MTS）是一种多媒体数据处理服务。它以经济、弹性和高可扩展的转换方法，将多媒体数据转码成适合在全平台播放的格式。并基于海量数据深度学习，对媒体的内容、文字、语音、场景多模态分析，实现智能审核、内容理解、智能编辑。
提供Web播放器及iOS、Android移动平台播放器SDK.对象存储OSS.消息服务MNS.推荐搭配使用.快速转码，满足传统广电视频技术要求.视频能更直观的对商品进行描述，极大地丰富了在售商品的功能介绍，提升买家购买欲望。适用于商品视频描述、新品发布会、视频导购及拍卖等应用场景.丰富在售商品的功能介绍，刺激买家购买欲望.商品...
来自：
云产品
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台方案导读背景RDS 解决的问题如何迁移到 RDS迁移前后对比优惠购买自建数据库迁移到云数据库本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，...
来自：
解决方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板，帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS，BGP公网精品IP等产品，实现低成本的出海业务加速。
方案优势 1、低成本出海加速业务 2、最小核数 1CPU最多支持 20人同时在线 产品列表 访问 3、支持弹性扩容、弹性带宽、按流量等多种 云速搭 CADT 模式付费 专有网络 VPC 4、智能传输路径选择、阿里云海外多节点覆 阿里云交换机 盖，享受安全、快速、超低延迟访问 阿里云安全组 云服务器 ECS BGP公网精品 IP 最佳实践频道 ...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
创建一个新库以及集合（如果不填 写集合，新库默认会有一个名为 test 的集合），用于测试。25 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 这里数据库名 kafkaToMongoDB 查询 中的数据 2.4.MongoDB 步骤1 双击新建的库，可以看到默认的 test 集合，通过 db.test.find()....
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
云服务器ECS：用于部署单节点Kubernetes，模拟非阿里云自建容器集群 产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有 网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。 云速搭CADT...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
kafka-message-sync.py：同步消息的示例代码 metadata_cloud_kafka_to_idc_kafka.py：阿里云Kafka向自建IDCKafka同步元数 据的示例代码。 metadata_cloud_kafka_to_cloud_kafka.py：阿里云Kafka向阿里云Kafka同步元数 据的示例代码。以上三份Python代码在文档后续内容中会替换到函数计算的函数中。文档版本：...
Oracle RAC 12C云上部署
Oracle RAC架构迁移上云，提供高并发，高吞吐，高安全等特性，适用于金融，电力，电信，制造业等传统客户的核心交易系统。
文档版本：20240206 IIIOracleRAC12C云上部署 前言 弹性网卡ENI：弹性网卡ENI（ElasticNetworkInterface）是一种可以绑定到专 有网络VPC类型ECS实例上的虚拟网卡。通过弹性网卡，您可以实现高可用集 群搭建、低成本故障转移和精细化的网络管理。 云企业网CEN：云企业网（CloudEnterpriseNetwork，简称CEN）是阿里云提 ...
云数据库 RDS MySQL 版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案，帮助您免除MySQL运维的烦恼。
黑客脚本入侵完全可以通过网络通信的安全手段，如：VPC、安全组、白名单、SSL 加密访问等方案来拦截，同时还可启用数据存储加密 TDE 技术，通过密文数据存储防止黑客拖库你认为一个优秀的数据库，最重要的特质是什么？1.一款优秀的数据库应该具备以下特点:可靠性：保证数据安全，防止数据丢失或损坏，并可以恢复。可扩展性...
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台云数据库 SelectDB 版产品简介产品优势产品功能产品选型入门与试用技术解决方案产品定价安全合规常见问题社区云数据库 SelectDB 版基于 Apache Doris 的云原生实时数据仓库，致力于为客户提供极致性能、简单易用的数据分析服务。...
来自：
云产品
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化，将基于人工的手动式运维转变为基于智能的主动式持续优化，具有数据库运维成本低，服务稳定性高的优势。
相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本使用一个平台管理数据库，降低管理复杂性，同时提供数据库自感知、自修复、自优化、自安全的服务，减少数据库的管理成本。提升稳定性根据业务负载实时调整数据库配置，保证高负载期的性能，减少业务负载波动引起的宕...
来自：
解决方案
企业云上网络架构规划
企业云上网络架构规划方案能够为企业提供面向业务的网络架构，确保业务的可靠性，并保持架构的可扩展性和可持续性。
解决问题：关联业务互通关联业务之间有网络互访需求，需要打通网络访问。解决问题：不同业务网络隔离非关联业务间的网络安全隔离，禁止访问。解决问题：内网网络安全内网东西向流量的安全审计，防止内网渗透。相关产品专有网络 VPC云企业网 CEN转发路由器 TR云服务器 ECS在线咨询方案优势保障业务可靠实现灵活的内网互通、...
来自：
解决方案
两地三中心异地多活网络
基于阿里云洛神网络全球基础设施及云原生SDN技术，帮助企业客户在云上库阿斯构建两地三中心跨域多活网络，保障企业核心业务在全球多地域的高品质互联。两地三中心多活网络解决方案提供了弹性、安全、高质量的网络能力，结合数据传输服务DTS轻松实现异地多活数据同步等，助力企业构建安全、可扩展、高可用的数据架构。
04部署资源在上海/北京两个地域开通网络、数据库等不同服务资源并配置对应的参数，实现跨区域容灾。05完成及清理验证方案是否部署成功，然后释放资源。方案部署方案权益优惠购买免费试用询价中.加入购物车立即购买询价中.加入购物车立即购买询价中.加入购物车立即购买询价中.加入购物车立即购买解决方案推荐ALB实现跨地域...
来自：
解决方案
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
步骤7 完成数据库恢复配置之后，预检查将会检查所有前面的配置选项、数据库连通性、数 据库权限等内容。预检查完成后，单击立即启动。步骤8 在恢复任务列表，可以看到该恢复任务状态从初始化中，运行中，变到完成，单击管 理，可查看恢复任务详情。文档版本：20220207 84 数据库异地灾备 容灾演练 步骤9 恢复完成后，点击 ...
- 产品推荐
- 这些文档可能帮助您