云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
墨迹天气日志分析业务迁移到数加MaxCompute后，开发效率提升了超过5倍，存储和计算费用节省了70%，每天处理分析2TB的日志数据，更高效的赋能其个性化运营策略.通过MaxCompute计算能力实现了针对百万用户的精细化运营.对业务数据分析能力提升并有效监控，更好的业务赋能.数加生态满足新业务数据分析需求的“随机应变”能力....
来自：
云产品
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 离线大数据分析WorkShop 文档版本：20210802（发布日期）离线大数据分析WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 离线大数据分析WorkShop 文档版本 V1.1 版本日期 2021-08-02 文档状态 对外发布 制作人 敬海 审阅人 游士 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
历年双 11 购物狂欢节零点千万级 TPS、万亿级数据洪峰，创造了全球最大的业务消息并发以及流转纪录（日志类消息除外）；在始终保证高性能前提下，支持亿级消息堆积，不影响集群的正常服务，在削峰填谷（蓄洪）、微服务解耦的场景下尤为重要；提供丰富的消息类型，满足各种严苛场景下的高级特性需求，当前支持的消息类型涵盖...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
Flume Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日 志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机 制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20200330 IV 自建Hadoop数据迁移到...
大数据workshop
大数据workshop
BI分 析，整个过程中使用到通过 VPC、ECS、RDS、Flink、DataHub、DTS、Hologres、QuickBI和 DataV等资源，本章通过 CADT工具部署资源。本实例架构图:文档版本：20210628（发布日期）9 阿里云最佳实践大数据 WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算 Flink集群，下一章节将通过页面创建）需要注意：使用 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS构建于 Apache Arrow、pandas和 scikit-learn等流行的 开源项目之上，为最流行的 Python数据科学工具链带去 GPU提速。通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 ...
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
高吞吐量、可靠性、持久性，适用于日志或事件数据收集、流处理、实时分析等.支持分布式处理，具备良好的水平扩展能力，适合大规模数据流场景.大数据处理、实时数据处理、事件驱动架构、日志聚合等.云消息队列 RabbitMQ 版.企业级消息中间件，适用于复杂的消息路由、处理和集成需求.支持多种消息协议，灵活的路由能力，插件...
来自：
云产品
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
EMR构建于云服务器 ECS上，基于开源的 Apache Hadoop和 Apache Spark，让您可以方便地使用 Hadoop和 Spark生态系统中的其他周边系统分析和 处理数据。EMR还可以与阿里云其他的云数据存储系统和数据库系统（例如，阿 里云 OSS和 RDS等）进行数据传输。EMR的 SmartData组件是 EMR Jindo引 擎的主要存储部分，为 EMR各个计算...
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台，提供多样的应用发布能力和轻量级微服务解决方案，帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题，完全兼容Dubbo和Spring Cloud，助您轻松转型企业级互联网架构。
支持实时日志查看，日志采集分析.2.支持调用链分析、异常总览、慢 SQL分析、应用拓扑大屏和自定义方法堆栈跟踪等功能，基于探针技术，完全无侵入代码.3.提供应用诊断功能，支持 GC 诊断、类冲突、类加载分析、对象内存分布、本地方法耗时追踪、热点线程堆栈快照、数据库连接池分析、WEB 服务连接池分析.4.应用运行期检查...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
MaxCompute 交互式分析（Hologres）是为大数据设计的实时交互式 分析产品，它与MaxCompute无缝打通，支持数据实时写入，支持PB级数据进 行高并发、低延时的分析处理，兼容PostgreSQL协议，可以使用您最熟悉的BI 工具对海量数据进行自助的多维分析透视和业务探索，同时也支持超高QPS点查 能 力，满 足 数 仓 分 析、服 务 一...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
它提供了网络上的身份验证和强大的加密工 具，可帮助您保护整个企业中的信息系统。MIT提供了一个免费的 Kerberos实现。详情请查看 web.mit.edu/kerberos Apache Ranger：Apache Ranger™是一个框架，用于在整个 Hadoop平台上启 用，监视和管理全面的数据安全性。Ranger的愿景是在 Apache Hadoop生态系 统中提供全面的安全性...
Oracle数据库与应用迁移PolarDB
场景描述 本最佳实践适用于Oracle数据库及应用迁 移到阿里云PolarDB数据库（Oracle兼容 版）。通过ADAM将Oracle数据库迁移到 PolarDB数据库，可以降低应用升级、运 维成本，同时提升系统弹性，实现数据库 及应用全栈上云。 解决问题 1.解决Oracle及其应用迁移上阿里云， 通过ADAM评估迁移工具，降低迁移 风险，提高迁移效率。 2.使用PolarDB（Oracle兼容版）数据 库，提升数据库并发读能力，降低运维 成本。 产品列表 数据库和应用迁移（ADAM） PolarDB（Oracle兼容版） 云服务器（ECS） 专有网络（VPC）
此外，ADAM 提 供 了 线 上 分 析 SQL 兼 容 度 的 工 具：https://adam.console.aliyun.com/tools 输入 SQL后，可以针对不同目标库，提供 SQL转换能力，并给出转换建议：查看变更列表，可以看到修改的地方：文档版本：20220210 63 Oracle数据库与应用迁移 PolarDB 应用评估及改造 对于复杂的应用 SQL转换，可以申请阿里...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS构建于 Apache Arrow、pandas和 scikit-learn等流行的 开源项目之上，为最流行的 Python数据科学工具链带去 GPU提速。通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 ...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
Cloud Serving Benchmark(YCSB)是开源压测工具，本最佳实践将使用该工 具压测 Tair数据库。YCSB的 github地址：https://github.com/brianfrankcooper/YCSB 步骤1 下载 YCSB源码。在测试 ecs（redis-client）上安装 git。yum-y install git git clone https://github.com/brianfrankcooper/YCSB.git 可以在本最佳实践 GIT...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
通过工具的方式-创建函数服务（推荐）本结以 JAVA版本为列，快速通过 Funcraft创建服务及函数，通过这个工具，可以帮 助您便捷地管理函数计算、API网关、日志服务等资源，快速部署应用。详情请参见功 能概览（https://help.aliyun.com/document_detail/140283.html）。步骤1 准备环境，通过 npm包管理安装，适用于已经预装...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
DLA 无缝集成各类商业分析工具，提供便捷的数据可视化。详见：https://www.aliyun.com/product/datalakeanalytics DMS：数据管理服务（Data Management Service，简称 DMS）支持 MySQL、SQL Server、PostgreSQL、Oracle、MongoDB、Oceanbase等关系型数据库和 NoSQL 数据库的管理。它是一种集数据管理、结构管理、用户授权、...
日志安全审计与合规性评估
日志安全审计与合规性评估方案旨在通过集中化采集、存储、分析来自多个系统、应用和设备的日志数据，确保企业数据和系统安全性与合规性。企业合规团队可基于日志审计来输出合规信息，帮助企业优化安全态势，确保业务连续性和数据安全。
以下是这些解决方案的主要价值与好处：安全性提升 通过分析日志，检测出未经授权访问或恶意行为，提供防护措施来应对潜在的安全风险。合规性管理 日志审计为企业审计和合规检查提供详细的记录和报表，证实企业的合规性。风险管理 通过日志审计和分析，企业可以更好地为潜在的安全事件做准备。数据完整性和透明度提升 确保...
来自：
技术解决方案
全域采集与增长分析 产品概述
阿里云全域采集与增长分析(QuickTracking)通过行为采集分析、私域标签画像、性能体验监控、隐私采集授权管理等数据采集与洞察服务，提供基于大数据计算的流量统计分析能力，助力企业营销增长第一公里。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台全域采集与增长分析产品概述产品功能选型与定价相关资源控制台文档联系我们立即购买全域采集与增长分析企业级流量统计分析产品，构筑企业数字化营销增长第一公里立即购买管理控制台全面捕获用户行为与性能体验数据的全链路打通，...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您