阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
游士 创建 V1.1 2021-08-02 敬海 更新细节 文档版本：20210802（发布日期）I离线大数据分析WorkShop 产品介绍 产品介绍 云速搭CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
云数据库RDS PostgreSQL
云数据库RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件。
云数据库 RDS PostgreSQL 版完全兼容开源PostgreSQL，基于云原生架构，软硬协同优化，提供稳定可靠、高性价比的数据库服务。通过丰富的插件拓展，支撑各领域场景化业务，如自研Ganos多维多模时空引擎及开源PostGIS地理信息引擎、向量引擎、时序引擎等百余款插件.云数据库 RDS PostgreSQL 版.PostgreSQL具备强大的OLTP能力，...
来自：
云产品
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
更多信息，请参见 Dataworks 简介 https://data.aliyun.com/product/ide 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支 持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可 以方便的对云上架构...
SAP ERP系统B1与钉钉集成解决方案
专为小型企业设计的 SAP® Business One 支持您集成运营整个企业所需的所有重要功能， 其中包括销售和客户关 系以及财务和运营。它能够帮助您根据最新信息制定决策，简化流程并加快盈利性增长。 借助SAP与阿里云的联合解决方案，您可 以彻底告别内部部署的高成本和复杂性，并确保软件、服务与支持费用的可预测性。
借助该应用，你能够自动执行日常会计任务，所有银行业务活动，以及管理现金流，追踪预算。通过将财务运营与采购和销售等其他业务流程实时整合起来，企业能够加快交易速度，提高现金流的可视性.全面控制财务运营.SAP Business One 可以帮助你高效管理整个销售流程和客户生命周期，包括从首次接触客户到最终销售、再到售后...
来自：
解决方案
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
使您全面了解阿里云上的资源使用情况、业务的运行状 况和健康度，并及时收到异常报警做出响应，保证应用程序顺畅运行。详见 https://help.aliyun.com/document_detail/35170.html 云架构设计工具 CADT是一款为上云应用提供自助式云架构管理的产品，显著地 文档版本：20220218 II 云服务器基准性能测试 前言 降低应用云上...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
多样的企业级增强特性，从消息治理、流量调度、企业级容灾特性多方面提供开箱即用的高级能力，助力企业大规模生产应用.多样的企业级增强特性.支持Message ID、Message Key 多维度方式查询消息详细信息以及下载消息.全链路轨迹追踪.支持查询生产者、消息服务器、消费者之间的流动轨迹，支持OpenTelemetry全链路轨迹集成和...
来自：
云产品
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
在我的可视化页面，可以查看所创建的所有可视化应用，以及还可以创建的可视化应 用的数量。步骤6 在模板列表页面上方，选择PC端。步骤7 在PC端模板列表中，选择一个模版，单击创建项目。步骤8 在创建数据大屏对话框中，输入数据大屏名称，单击创建。创建成功后，系统会跳转到可视化应用编辑器页面。步骤9 在创建了可视化...
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License，支持复杂的SQL查询，性能优秀，对基于Windows平台.NET架构的应用程序具有完美的支持，广泛应用于新零售、医疗、房地产等行业。
针对电商秒杀场景进行专项优化，解决热点数据的高并发更新性能瓶颈，经阿里巴巴双十一内部大规模使用数据统计，相比本地数据库实现100倍性能提升。通过高安全模式，内置SQL注入检测模块，实时拦截风险SQL，保护数据安全.热点数据的高并发更新性能优化.提供IP白名单，防SQL注入，SSL加密传输，TDE数据加密等功能.主备架构，...
来自：
云产品
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
6.业务系统：经过处理的数据，可直接服务于相关业务方，如运营、决策者、相关应 用等。例如，运营人员可通过实时报表中的客流分析，及时调整运营策略，提高活 动转化率；实现实时风控和在线流量反作弊，避免业务损失。文档版本：20220223（发布日期）6 基于 Flink的资讯场景实时数仓 资讯场景介绍与技术架构设计 2.资讯场景...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
见：https://www.aliyun.com/product/bigdata/hologram 云数据库RDSMySQL版：云数据库RDSMySQL版是全球最受欢迎的开源数据 文档版本：20210803（发布日期）III阿里云最佳实践大数据WorkShop 产品介绍 库之一，作为开源软件组合LAMP（Linux+Apache+MySQL+Perl/PHP/Python）中 的 重 要 一 环，广 泛 应 用 于 各 类 应 ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
作者 审核人 说明 V1.0 2020-02-11 期会、丁健 云魁、周郎 创建 迭代迁移工具、SLS统计分 V1.1 2020-03-10 期会、和颐 析部分内容 V1.2 2024-04-11 厉博、楼岚 更新CADT支持、文档描述 V1.3 2024-04-22 游圣 优化CADT模版、优化文档 文档版本：20240422 I自建ELK迁移阿里云日志服务（SLS）目录 目录 文档版本信息.I 法律...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
兼容POSIX文件接口，可支持数千台计算节点共享访问，可 以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计 算BCS、高性能计算EHPC，AI训练PAI等计算业务上提供高性能的共享存储，用户无需修改应用程序，即可无缝迁移业务系统上云。更多信息，请参见 https://www.aliyun.com/product/nas。文档版本：...
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
完全兼容开源PostgreSQL，面向云原生2.0，软硬协同优化，提供稳定可靠、高性价比的数据库服务.含微软License正版授权，便宜好用的SQL Server服务，支持Windows平台.NET架构.全球流行的开源数据库，支持包括 MySQL InnoDB 等多种存储引擎，为不同需求的用户提供灵活的选择.提供性能强大、服务稳定、并具备丰富管控功能的云上...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 24 SLS多云日志采集、处理及分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。按云...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
TestDFSIO调用一个 MapReduce作业来并发地 执行读写操作，每个 map任务用于读或写每个文件，reduce 用于累积统计信息，并产生 统计总结。获取脚本 ✓ 通过如下命令获取测试脚本：git clone git@code.aliyun.com:best-practice/202.git 文档版本：20210301 3 大数据系统基准性能测试最佳实践 前置条件 前置条件 为了顺利完成...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基本需求：从用户行为日志中，统计实时的 PV和 UV 统计每小时的访问量（PV），并且对用户进行去重（UV）说明:用户行为数据，进一步细分，可分为两大类，一类：用户行为习惯数据，另一类：业务行为数据。用户的行为习惯包括用户的登录设备（IOS、PC、Android等等），登 录时间点，在线的时长，点击和浏览的页面，页面跳转...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
应用范围 互联网行业、电商、游戏行业等网站、App、小程序应用内 BI分析场景。可扩展到各类网站 BI分析场景使用 名词解释 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如 ECS、负载均衡、...
可观测可视化 Grafana 版
可观测可视化 Grafana 版作为云原生数据可视化平台，为运维SRE、研发工程师、产品经理、市场营销等不同角色提供开箱即用的一站式可视化平台，满足运维监控、经营分析、汇报展示等不同场景的查询、可视化、告警需求。
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具。快速分析和诊断分布式应用架构下的性能瓶颈，缩短异常定位时间，提高微服框架下开发诊断效率.可观测链路 OpenTelemetry 版.默认集成各种云服务.默认集成 ARMS、Prometheus、云监控、日志服务等...
来自：
云产品
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
使用阿里云 RDS.Cloud Toolkit 帮助开发者将本地应用程序一键部署到任意服务器。修改完代码后，无需重复「打包-上传-登录服务器-替换-部署-重启」的繁琐流程。支持多种服务器及主流云端服务，进一步减轻开发者重复性工作.支持标准 SSH 协议，无需在一系列运维工具之间切换，只需在图形界面上选择目标服务器，即可实现应用...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您