基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
明细数据层生成 从消息队列 Kafka的 Topic：app_log读取预处理日志，通过实时计算 Flink进行实时 ETL处理（维表 JOIN和自定义函数处理），再将生成的明细数据层数据发送到消息队 列 Kafka的 Topic：app_log_dwd。4.2.2.1.自定义函数 UDX开发 步骤1 搭建实时计算自定义函数的环境。从演示环境说明中下载的示例 demo代码包含 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 查 看 杭 州 区 域 EMR 集 群 主 机 的 内 网 IP 地 址，通 过 https://emr.console.aliyun.com/#/cn-hangzhou/cluster 登录到控制台，单击集群名称 进入详情页面。文档版本：20210714 35 自建Hadoop数据迁移到阿里云 EMR 创建IPSec VPN隧道 我们以 emr-worker-2主机的内网 IP地址进行互通性验证。步骤3 首先通过 SSH...
新能源发电运营解决方案光伏
阿里云新能源发电解决方案融合多年阿里沉淀的云计算大数据技术，连接电站用户、运营方、投资方、融资方和设备，洞察光伏、风电和水电等新能源资产的运营状况。方案面对具有高度不确定需求的综合能源行业的竞争性挑战，通过阿里的中台技术组件，提供应用快速创新迭代、运营及相关数据挖掘分析等能力，在业务高速增长的同时保证平台可靠稳定。
消息队列 MQ.通过简易的拖拉拽方式迅速构建数据大屏，实时洞察数据.数据可视化DataV.基于阿里巴巴多年中台实践和理论，对于同样具有高度不确定需求的综合能源行业的竞争性挑战，通过阿里的中台技术组件，提供应用快速创新迭代、运营及相关数据挖掘分析等能力，在业务高速增长的同时保证平台可靠稳定.海量物联设备接入.中...
来自：
解决方案
AHAS多活容灾MSHA
多活容灾MSHA是在阿里电商业务环境演进出来的多活容灾商业化产品，是应用高可用服务AHAS的核心模块，为客户提供容灾架构建设能力。横向支持容灾架构的上线、运维、演练、切流，升级到下线。纵向支持业务流量的全链路管理，从流量接入到服务化调用再到异步化消息，最终完成数据落库。
通过消息消费过滤、写SQL拦截、数据禁写保护、数据同步延迟等功能，保证消息正确消费、数据零脏写.提供故障演练Chaos的能力，丰富的故障注入可模拟真实的故障场景进行容灾演练，有效消除灾难发生时切换失败的情况.支持丰富的容灾架构，可选择适合自身的容灾架构，且支持平滑的架构演进.丰富的容灾架构.支持接入层、服务层、...
来自：
云产品
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
数据导入 上一章节，我们演示了，如何配置 Flink流处理，将 kafka里面的消息作为源，然后通 过 Flink进行 ETL处理后，输出到两个终端，一、标准输出 二、Clickhouse 7.1.ClickHouse-JDBC 本实践采用 Java JDBC的方式实现了将数据从 Fink导入到 ClickHouse，对具体实现 感兴趣的同学，请参考：这里需要引入的 Maven依赖是...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
云消息队列 Kafka 版.云数据库 Redis 版.云服务器 ECS.负载均衡 SLB.微服务引擎 MSE.云服务统一指标观测.云服务统一指标观测.与阿里云容器服务 ACK 深度集成，配置容器集群过程中即可开启。针对容器提供工作负载性能监控、ingress 性能监控、CoreDNS 性能监控等组件，并提供专属观测大盘覆盖容器服务、应用组件、云服务和...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
针对容器服务ACK、消息队列 Kafka 等主流云服务，提供 Grafana Pro 大盘，帮助运维进行更精细化指标观测.云服务统一接入.可观测监控 Prometheus 版.可观测可视化 Grafana 版.云服务统一监控.针对多数据源进行统一管理，实现端到端的可观测数据统一展现.默认集成阿里云云服务、SQL 数据库、时序数据库、日志数据、链路数据、...
来自：
云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
消息队列 MQ.分布式云容器平台 ACK One.容器服务 ACK 发行版.Prometheus 监控服务.Grafana 服务.事件总线 EventBridge.云服务总线 CSB.云原生应用交付平台 ADP.Serverless 工作流.服务网格 ASM.应用配置管理 ACM.云原生应用平台.API 网关.运维事件中心.智能顾问 Advisor.云治理中心.云迁移中心.服务器迁移中心 SMC.智能计算...
来自：
云产品
转发路由器TR
转发路由器TR（Transit Router）是地域范围内企业级核心转发网元，可为您转发同地域或不同地域的网络实例间的流量，并支持在地域内定义灵活的互通、隔离、引流策略，帮助您打造一张灵活、可靠、大规模的企业级互联网络。
通过多路由表实现服务链架构（Service Chaining），业务VPC之间互访，经过安全VPC内安全节点进行管控和审计.不同安全等级业务互访集中管控.负载均衡SLB.智能接入网关SAG.推荐搭配使用.云上企业级组网.客户业务需求.对于依赖组播能力的业务系统（如：金融证券行情、媒体直播、Oracle RAC、Pub-sub模式的消息通知系统等）的...
来自：
云产品
业务多活容灾解决方案
业务多活，英文Multi-Site High Availability，顾名思义就是业务分布在多个站点且同时对外提供 服务。与传统的灾备的最主要区别就是"多活 "里的所有站点同时在对外提供服务，不仅解决了容灾本身问题，提升了业务连续性，并且实现了容量的异地扩展。
消息队列 RocketMQ 是一款具备低延迟、高并发、高可用、高可靠的分布式消息中间件.PolarDB-X 是阿里巴巴集团自主研发的分布式数据库中间件产品，专注于解决单机关系型数据库扩展性问题.数据传输服务支持关系型数据库、NoSQL、大数据(OLAP)等数据源间的数据传输.数据传输服务.MySQL 是全球最受欢迎的开源数据库之一，广泛...
来自：
解决方案
业务中台技术解决方案
阿里云业务中台解决方案为企业构建业务中台提供体系化的建设解决方案，涵盖从中台架构设计、中台实施、运行支持、持续治理等一整套业务中台建设方法论体系。阿里云业务中台解决方案基于经过阿里多年双十一洗礼的成熟云原生产品，结合完善的生态伙伴体系，成功帮助大量企业实现业务的实时在线与统一，实现各业务板块之间链接和协同，持续提升业务创新效率。
消息队列 RocketMQ.ARMS是应用性能管理产品，包含前端，应用和Prometheus监控，涵盖了浏览器，APP，分布式应用和容器环境等性能管理，实现全栈式性能监控和全链路追踪诊断.应用实时监控服务ARMS.PTS是面向所有技术背景人员的云化测试工具。PTS以互联网化的交互，提供性能测试、API调试和监测等多种能力。可以轻松模拟任意...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您