大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
本文以线下现有业务大数据离线数仓建设为背景，介绍如何在现有业务应用系统零 改造的前提下，从 Kafka集群切入，打通数据上云链路，解决数据复杂类型支持和 动态分区问题，将数据近实时投递至 MaxCompute，快速构建数仓服务。应用范围 混合云环境下，现有业务系统零改造，打通数据上云链路。使用 UDF实现复杂数据类型转换和...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
运维和数据应用部门执行实时监控、实时异常检测预警与实时调试。业务部门进行实时风控、实时推荐、实时效果分析和实时训练。6 文档版本：20240425利用交互式分析工具进行数据查询 产品简介 图2.实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
零部署，零运维，开箱即用，应用于流量分析，广告营销分析，行为分析，人群圈选，客户画像，敏捷 BI，数据集市，网络监控，分布式服务和链路监控等业务场景。文档版本：20201224 25 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤1 登录云数据库 ClickHouse控制台。（https://clickhouse.console.aliyun.com...
基于MyBase构建自主可控数据库和高弹性应用实践
一些企业级客户上云前，会重点关心数据库是否自主可控，包括云资源独享、自主可运维、获取OS 权限等特点，同时又要兼顾数据库合规性、安全性和高性能的要求；并力求在业务弹性下合理利用云产品降低数据和应用成本，弹性地支持业务。本实践为此类用户提供相关实践参考。
支持系统监控和自定义监 控类型。文档版本：20210323 30 基于 MyBase构建自主可控数据库和高弹性实践 业务应用弹性伸缩 目标追踪规则：选择一项云监控指标，并指定目标值。弹性伸缩会自动计算所需的 实例数量并进行扩缩容，从而将云监控指标维持在目标值附近。举例按照“ECS 平均 CPU使用率”。预测规则：用于设置伸缩组...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级产品服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
在企业基础设施运维、系统监控、问题诊断、运营监测、攻击溯源、数据归档、日志审计、业务洞察等各个应用场景下，需要对各类日志、指标、Tracing数据进行统一收集、存储和实时监控分析，从而快速定位问题，提升企业运维和经营效率.基于云托管Beats、APM实现各类指标、日志、Tracing数据的轻量化采集，结合Logstash、Flink...
来自：
云产品
能耗宝
能耗宝是阿里云在ESG和碳中和战略大背景下推出的碳管理+能耗优化的应用服务产品，通过大数据计算及人工智能技术，帮助企业核算碳排放量、科学计算产品碳足迹、制定节能降碳方案、规划碳中和路径。同时联合权威认证机构实现在线认证，联合金融机构提供绿色金融/碳金融服务。能耗宝还致力于让碳普惠融入居民生活，形成社区碳流与个人碳账户，助力以人为本的低碳社区、低碳校园落地。
帮助用户建立能耗盘点能力，实时监控企业各项能耗数据，需要配合各类实时采集设备实现.根据用电情况结合各省市电费定价，帮助企业建立电费分析能力和ROI评价体系，需要配合各类实时采集设备实现.通过数据模型与机理模型相结合、人工智能算法与专家经验相结合的方式，实现空调精细化控制，在保证舒适度的前提下降低能耗.暖通...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
实时计算：实时计算（Alibaba Cloud Realtime Compute，Powered by Ververica）是阿里云提供的基于 Apache Flink 构建的企业级大数据计算平台。在 PB 级别 的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行 业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简 化 BI 场景...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
新 3.33 文档版本：20200331 I数据湖-在线学习场景数据分析 前言 前言 概述 本实践以WebServer为例来模拟在线教育的应用场景，通过Nginx和Pythonflask 搭建WebServer，模拟应用中的关键页面，比如登录、课程内容等，之后构造若干用 户使用的模拟日志数据，投递到数据湖进行分析后获取应用PV、UV、课程内容访问 排行等。应用...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
6.业务系统：经过处理的数据，可直接服务于相关业务方，如运营、决策者、相关应 用等。例如，运营人员可通过实时报表中的客流分析，及时调整运营策略，提高活 动转化率；实现实时风控和在线流量反作弊，避免业务损失。文档版本：20220223（发布日期）6 基于 Flink的资讯场景实时数仓 资讯场景介绍与技术架构设计 2.资讯场景...
云备份 Cloud Backup
云备份 Cloud Backup作为阿里云数据统一灾备平台，是一种简单易用的公共云灾备服务，可以为阿里云ECS上的数据库、文件系统、NAS、OSS以及自建机房内的文件、虚拟机、大规模NAS等提供安全、高效的备份和容灾保护。图形化界面集中配置备份策略，并完全托管备份活动，轻松满足业务与合规需求。
支持阿里云上应用数据和本地数据中心等多种数据源备份.支持 ECS（文件，MySQL,Oracle,SQL Server，SAP HANA)，NAS，OSS，Tablestore 等阿里云上数据源备份.阿里云上应用数据.支持文件，NAS，VMware，主流数据库等本地数据源备份.本地数据中心.可以为其他云服务商上的文件提供备份服务.备份上云，灵活扩展，省存储，省网络....
来自：
云产品
智能接入网关SAG
智能接入网关（Smart Access Gateway，简称SAG）是阿里云提供的一站式快速上云接入产品，企业可通过智能接入网关SDWAN技术实现Internet就近加密上云，适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化，即插即用，网络拓扑变化自适应快速收敛，自动探测最优链路，故障时主动实时切换，高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
每个网关终端双链路密封接入，自动探测最优链路，故障时主动实时切换.每个设备同时接入两个接入点，接入点故障自动切换.提供全方位多维度可靠性保障，消除任意节点单点故障.高可靠性保障.查看更多商品.业务多地域部署，用户就近访问提升网络接入体验。后端系统通过智能接入网关连接实现安全稳定传输.业务部署在多个地域下，...
来自：
云产品
云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
云消息队列 RabbitMQ 版的定时消息能力开箱即用，无需安装运维插件，只需要在生产者客户端发布消息时，通过 delay 为消息设置一个延时时间即可达到延时的效果.云消息队列 MQ.推荐搭配使使用.分布式定时任务.分布式定时任务.和开源自建对比.更多产品与服务.和开源自建对比.Queue 模式.支持 Queue 队列存储消息，提供多分区，...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
更多信息，请参见：www.aliyun.com/product/pts 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构方案的成本、部署、运维、...
大数据workshop
大数据workshop
详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(Streaming Data)服务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻 松 构 建 基 于 流 式 数 据 的 分 析 和 应 用。详见：https://www.aliyun.com/product/datahub 实时计算 Flink 版：实时计算 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
SLS多云日志采集、处理及分析 最佳实践 业务架构 场景描述 从第三方云平台或线下 IDC服务器上采集 日志写入到阿里云日志服务，通过日志服 务进行数据分析，帮助提升运维、运营效 率，建立 DT 时代海量日志处理能力。针对未使用其他日志采集服务的用户，推 荐在他云或线下服务器安装 logtail采集并使 用 Https安全传输；针对...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
名词解释 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是阿里云提供的性能 卓越、稳定可靠、弹性扩展的 IaaS（Infrastructure as a Service）级别云计算服 务。云服务器 ECS免去了您采购 IT硬件的前期准备，让您像使用水、电、天然气 等公共资源一样便捷、高效地使用服务器，实现计算资源的即开即用和弹性伸缩。...
- 产品推荐
- 这些文档可能帮助您