基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
配置项 说明 Project名称 sls-bp106-202112000001 OSS配置：配置项 说明 文档版本：20211213 8 基于 MaxCompute的大数据 BI分析 部署基础环境 Bucket名称 oss-bp106-202112000001 存储类型 标准存储 同城冗余存储 关闭 读写权限 私有 Hologres配置：配置项 说明 交互式分析 hologres-bp106 Hologres 支付方式 按量付费 版本...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
基于交互式分析工具进行数据查询最佳实践 业务架构 场景描述 随着收集数据的方式不断丰富，企业信息化程度越来越高，企业掌握的数据量呈TB、PB或EB级别增长。同时，数 据中台的快速推进，使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
文档版本：20240131 4 大模型RAG对话系统部署最佳实践 最佳实践概述 人工智能平台 PAI（Platform of Artificial Intelligence）：是面向企业客户及开发者，提供轻量化、高性价比的云原生人工智能，涵盖 DSW交互式建模、Designer拖 拽式可视化建模、DLC分布式训练到 EAS模型在线部署的全流程。检索分析服务 Elasticsearch版...
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具，大幅提升数据分析和报表开发效率，一站式满足企业各种场景的数据分析和决策的诉求。
查看详情快速开启智能报表产品之旅产品优势快速搭建可视化报表解决数据可视化呈现及分析问题提供 40+仪表板及大屏图表组件，支持构建数据故事，并提供联动、下钻等便捷交互式分析能力，还可一键安装行业模板，让数据报表更专业、美观。高效的办公协同能力解决多端数据协同问题围绕钉钉、企微、飞书等 OA 系统深度的场景集成...
来自：
云产品
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
内部发布 制作人 连辙、明中、七凌 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-07-30 连辙、明中-创建 V1.1 2019-08-01 连辙-修改描述 V1.2 2019-08-22 筱晖-文档优化 V1.3 2019-09-09 明中、谦昀 行夜，毕役 修改和发布 V1.4 2020-03-10 明中 优化表述方式 V2.0 2022-01-21 七凌 CADT迭代 文档版本：...
同地域跨可用区容灾
场景描述 面向阿里云公共云客户， 1.业务在同一个地域（Region） 2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器（ECS）、数据库（RDS）、专有络（VPC）、负载均衡（SLB）、消息队列（MQ）等
日期 文档作者 审核人 说明 V1.0 20190307 弦望、明誉 明中、阿 创建文档 瑟、游圣 V1.1 20190314 弦望 增加 terraform 脚本 V1.2 20190403 弦望 修复 ESC 无需停机自定义镜 像，更新 terraform 脚本支持 SLB 指定可用区 V1.3 20190621 阿瑟 更新文档模版 V1.4 20190812 阿瑟 更新文档模版，增加场景等 V1.5 20200114 阿瑟 ...
云速搭自定义扩容ACK集群
本实践借助云速搭 CADT，针对ACK集群自定义扩容场景，以“CADT控制台”和“CADT API”两种不同的实现方式进行演示。
版本编号 日期 作者 审核人 说明 V1.0 2022-08-18 厉博 创建 最佳实践频道 阿里云最佳实践分享群 文档版本：20220818 I 云速搭自定义扩容 ACK集群 目录 目录 文档版本信息.I 法律声明.II 目录.1 前置条件.2 产品介绍.3 方案概述.4 1.通过云速搭 CADT控制台进行 ACK扩容.6 1.1.部署 ACK集群实验环境.6 1.2.CADT可视化扩容 ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
以上步 骤中，涉及与 OSS对象服务的交互都能通过阿里云提供的 OSS服务接口实现。现 OSS对象存储服务中已经有阿里巴巴股票历史数据，存放于对应的目录：下载历史数据：./ossutil64 cp-rf oss:/ehpc-cluster-data/backtest/alibaba 上传回测结果：./ossutil64 cp-rf backtest.out oss:/ehpc-cluster-data/output/2.9.监控告警...
混合云数据库统一管理
本最佳实践描述在混合云场景下，用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库，并通过DTS实现IDC数据库和云上RDS的数据同步， DBS将数据备份到云上
文档版本：20201224（发布日期）2 混合云数据库统一管理 演示环境说明 演示环境说明 为了便于演示，在本文中涉及到开通资源时，均默认选择按量付费模式开通。本方案仅作为实践演示，具体环境以用户实际需求为准。文档版本：20201224（发布日期）3 混合云数据库统一管理 总体方案描述 1.总体方案描述 在本地或第三方云的...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
类别 说明 副本配置 双副本版 规格 8核 32GB 节点数量 2 存储类型 ESSD PL1云盘（自建 ECS也选择该类型的云盘）加密类型 不加密 存储空间 500GB（后续存储空间可以在线扩展）说明：生产环境建议选择双副本、8核 32GB以上。5.单击立即购买。文档版本：20210416 10 云 ClickHouse冷热数据分层存储最佳实践 云资源创建和配置 6...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
在 OpenTelemetry发布之前，各个方案/公司都定义了一个自己的协议格式/数据类型，不同的方案之间很难兼容/互通，这一问题在 Tracing领域尤其凸显，Tracing的目的就 是把系统中所有的模块和组件的交互通过Trace ID完全串联起来，如果某些组件Trace 格式不统一，那这部分组件内部的调用记录就会断掉，Trace 完全发挥不出价值...
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控（如Palo Alto） 3. 统一多 VPC 的互联网访问出口，提高业务安全性
基于转发路由器构建同地域企业级组网 最佳实践 场景一：多 VPC互联互通 场景描述 由于业务需要，客户在云上同地域有多个 VPC，希望可以实现多 VPC之间的灵活通信，如全部 VPC之间可以互相...说明 VPC B和 VPC C之间的交互以及外网访 问都是通过 VPC A统一出口。echo 0>/proc/sys/net/ipv4/ip_forward 文档版本：20210204 46
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
V1.4 版本日期 2021-10-25 文档状态 外部发布 制作人 明中,厉博 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-29 明中，石镇 云魁，阿瑟 创建 V1.1 2019-12-03 筱晖 明中 文档优化 V1.2 2019-12-10 明中 云魁 文档修改发布 V1.3 2020-01-20 明中 增加概览页 V1.4 2021-10-25 厉博 增加 CADT部 署架构...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
总结 通过实践证明，客户使用全托管的 Databricks数据洞察大数据分析平台，以下优势明 显：Databricks数据洞察产品内核使用 Databricks商业版的 Runtime和 Delta Lake较 之前使用开源 Spark做数据分析在性能上有 3-5倍的提升，机器资源相比自建多 了 3倍。全托管的 Spark集群免去运维人力成本，免去性能调优（运维 1人+...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤7 启动 Hive进入 HQL命令行交互界面。hive 说明：在 hive命令行界面，使用 quit;退出。1.3.创建 Hive表并导入数据 步骤1 通过 SSH登录到 hadoop-master节点，执行以下命令进入 Hive命令行界面。hive 步骤2 创建数据库 log_data_warehouse。create database log_data_warehouse;use log_data_warehouse;步骤3 Apache日志...
全域采集与增长分析Quick Tracking
全域采集与增长分析（Quick Tracking）是阿里云推出的应用数据采集及分析产品，为运营、BI、产品和决策层提供一站式数据化运营服务：通用的多维度用户行为分析、自助分析功能、数据无缝对接其他大数据产品，助每个企业实现基于大数据技术的精细化运营能力。
实时高效的自由分析平台.App、小程序、Web性能体验说明.缺乏全域采集技术能力，较难感知用户交互路径与性能体验.全域数据汇集能力弱.难以长期有效维持数据采集规范和质量，数据“缺错乱重”.数据质量把控能力弱.崩溃、卡顿、加载慢等问题频现，直接影响业务转化表现.用户性能问题定位难.个保法背景下，个人隐私授权数据采集...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您