利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
3.可以通过日志观察运行结果。当所有语句执行成功后：2.6.3.2.基于ODPSCMD进行开发 前提条件 客户端（odpscmd）基于Java开发。在安装前，请确保您的设备上有Java8或 以上版本。在配置客户端之前，请确保您已创建好项目空间。详情请参见创建项目空间（https://help.aliyun.com/document_detail/27815.html）。操作步骤 ...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
查看全部日志.核心性能提升.数据实时入湖入仓.实时风控场景能力.上下游数据连接(Connector).问题分析与诊断.用户可以根据业务负载进行弹性扩缩容.可智能调优，无人值守自动监控并调整作业资源分配.可在指定时间段应用对应的资源计划，削峰填谷，节省成本.可进行细粒度资源，支持算子级别的精细化资源配置.大规模作业资源...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
日志能力强大，由于日志已经被 Kubernetes 自动收集，用户可以直接通过查看 Pod的日志就可以排查问题，而不需要像 on Yarn一样需要通过 Yarn的 Web页 面或者查看原始日志文件的方式来查看作业执行的日志。3.3.Spark on ACK+ECI方案 在 3.1节，我们已经看到了 Spark on ACK的优势，但是如何更好地解决资源弹性和 成本的问题...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
日志和监控是所有 Ingress Controller都会提供的基础功能，日志一般包括访问日志（Access Log）、控制日志（Controller Log）和错误日志（Error Log），监控主要从日志以及 Controller中提取 部分 Metric信息。通过 ingress仪表盘可以查看到 PV、UV、流量、延时、错误信息、访问的地域信息等等。步骤1 结合本方案主题问题...
阿里云时序时空数据库TSDB
时序时空数据库 ( Time Series and Spatial-Temporal Database , 简称 TSDB) 是一种集时序数据高效读写，压缩存储，实时计算能力为一体的数据库服务，可广泛应用于物联网和互联网领域，实现对设备及业务服务的实时监控，实时预测告警。
兼容OpenTSDB协议，提供JavaSDK，开发简单.互联网运维和服务监控.服务指标采集，时序指标分析存储，可视化展现.通过Kafka 订阅业务和机器指标数据，经过Flink 进行业务规则的实时计算，最终将原始指标数据和实时计算结果存储到TSDB，业务监控系统依赖TSDB 进行实时的任意维度时序聚合计算并进行可视化数据展现和告警.推荐...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
每个过程又会涉及多个系统，如数据加工部分会涉及到数据通道类系 统（如阿里云消息队列 Kafka等）；数据多维分析会涉及到 OLAP相关系统（如阿里 云分析型数据库等）。实时数仓的数据处理过程涉及到以下几个关键环节：1.数据产生：一般场景下，数据有两个来源：a)用户行为日志：如用户在 App上的操作会产生一系列日志，包括...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
通过 ADAM将 Oracle数据库迁移到 PolarDB数据 库，可以降低应用升级、运维成本，同时提升系 统弹性，实现数据库及应用全栈上云。解决问题 1.解决 Oracle及其应用迁移上阿里云，通过 ADAM评估迁移工具，降低迁移风险，提高 迁移效率。2.使用 PolarDB（Oracle兼容版）数据库，提 升数据库并发读能力，降低运维成本。最佳实践...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
运行环境 ossimport可以部署在 Linux或 Windows系统上，要求如下：Windows7及以上版本 Linux系统最新版本 Java 1.7及以上版本 注意 分布式部署暂时不支持 Windows系统。部署方式 单机模式：当您需要迁移的数据小于 30TB 时，推荐部署单机模式。您可以将 ossimport部署在任意一台可以访问您待迁移数据，且可以访问 OSS的机器...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
文档版本：20210519 27 新零售商超基于 Serverless服务化改造 架构环境搭建 步骤6 在代码库里面，能够找到模拟会员系统对外暴露 API接口的 JAVA代码如下图所示：步骤7 执行以下命令，将函数部署到云端。fun deploy-y 文档版本：20210519 28 新零售商超基于 Serverless服务化改造 架构环境搭建 步骤8 登录函数计算控制台，在...
大数据workshop
大数据workshop
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和 业务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现 这几大模块共同构成实时大数据数据仓库。注：对于 DIM（维度层）的维度数据可以主要使用 MySQL、HBase、Hologres三种 存储引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Flume Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日 志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机 制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20210723 IV 自建Hadoop迁移...
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
客户业务系统选型 ORACLE 数据库且不 愿做业务改造：由于历史原因，客户业务系 统只支持 ORACLE 数据库，客户没有技术/时间去做技术栈改造。2.高性能：希望拥有比虚拟机更高的性能和稳 定性，以保障数据库高性能，支撑高并发的 业务系统。3.高可用：追求数据库服务的高可用，在某一 台数据库服务器宕机时快速切换备机，实现...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类业务数据：用户行为日志和业 务后台数据库）、日志采集、日志传输、实时计算、数据存储和同步、数据展现这几 大模块共同构成实时大数据数据仓库。注：对于DIM（维度层）的维度数据可以主要使用MySQL、HBase、Hologres三种存储 引擎。对于维表数据比较少的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
容器镜像服务
阿里云容器镜像服务（简称 ACR）是面向容器镜像、Helm Chart 等符合 OCI 标准的云原生制品安全托管及高效分发平台。 ACR 支持全球同步加速、大规模/大镜像分发加速、多代码源构建加速等全链路提效，与容器服务 ACK 无缝集成，帮助企业降低交付复杂度，打造云原生应用一站式解决方案。
制品管理.制品分发.云原生安全.面向企业客户，99.95%SLA...在ACK、FC等云产品中使用ACR镜像部署应用.10分钟迁移自建Harbor至ACR企业版.Java项目容器化构建最佳实践.基于ACK One和ACR构建应用的全自动化GitOps交付实践.容器DevSecOps全链路体验.云原生架构容器&微服务优秀案例集.更多案例查看.案例精选与最佳实践.查看全部日志.
来自：
云产品
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
使用工具部署函数（可选）本结以 JAVA版本为列，快速通过 Funcraft创建函数，通过这个工具，可以帮助您便 捷地管理函数计算、API 网关、日志服务等资源，快速部署应用。详情请参见功能概 览（https://help.aliyun.com/document_detail/140283.html）。步骤1 准备环境，通过 npm包管理安装，适用于已经预装了 npm的 Windows...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
查看日志的页面如下图所示：选择下面日志，查看具体日志报错信息。步骤13 修改 ECS白名单。1.为了确保各个微服务之间的网络连接，请打开 4000到 9000端口的通讯信息。单 击需要设定白名单的 ECS。文档版本：20200106 57 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 2.在左侧导航栏选择本实例安全组，单击...
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云， 应 用采用 docker 方式部署， 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理，简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务，提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版（ACK） 微服务引擎（MSE） 关系数据库服务（RDS） 应用高可用服务（AHAS） 应用实时监控服务（ARMS）
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 文档版本：20220208 III Dubbo应用上云 前言 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案，彻底解决数据库运维的烦恼。更 多信息，请参见：https://www.aliyun.com/product/rds/mysql ARMS：应用...
- 产品推荐
- 这些文档可能帮助您