通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
工作原理 Kibana：用于查询、分析和可视化展示数据 Elasticsearch：用于存储Kibana的Meta数据，主要为配置信息，由于Kibana的Meta 信息经常需要更新，而SLS不支持更新操作，因此需要部署一个Elasticsearch专门 用于存储kibana的Meta数据 Proxy：用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求，需要...
MaxFrame
MaxFrame 是由阿里云自研的分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，同时与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 完整的 Python 开发生态。用户可以以更熟悉、高效的方式进行大规模数据处理、可视化数据分析及科学计算、ML/AI 开发等工作。
处理数据量大、处理逻辑复杂，需要基于 MaxCompute 海量数据及弹性计算资源及 MaxFrame 分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率.面向 Data+AI 开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程.推荐搭配使用.海量数据处理、数据科学、机器学习、AI 开发.基于 MaxFrame 进行大规模...
来自：
云产品
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
本最佳实践基于分析型数据库 AnalyticDB、数据湖分析 Data Lake Analytics、日志服务 SLS、对象存储 OSS、关系型数据库服务 RDS、数据传输服务 DTS、数据分析与展现 Quick BI等产品组合，构建新一代游戏数据（热、温、冷三层）运营融合分析一体化解决方案。应用范围 游戏行业有结构化和非结构化数据融合分析需求的客户。...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
接入MySQL协议，可使用任何兼容MySQL协议的工具来进行数据分析，适合Adhoc查询、BI分析、轻量级ETL等数据分析场景.Spark引擎.Spark引擎是基于开源Spark打造的服务化的大数据分析与计算服务，兼容开源Spark语法、所有的API和多个版本，支持SQL语言和DataFrame代码。适合大量数据清洗，Streaming，编写Java、Scala、Python等...
来自：
云产品
智能数据建设与治理Dataphin
Dataphin遵循阿里巴巴集团多年实战沉淀的大数据建设OneData体系（OneModel、OneID、OneService），集产品、技术、方法论于一体，一站式地为您提供集数据引入、规范定义、智能建模研发、数据萃取、数据资产管理、数据服务等的全链路智能数据构建及管理服务。助您打造属于自己的标准统一、资产化、服务化和闭环自优化的智能数据体系，驱动创新。
搭配购买大数据分析与展现：QuickBI.Dataphin产品白皮书下载.Dataphin获DAMA2023年度“数据治理优秀产品”奖.Dataphin通过中国信通院数据资产管理能力评测.「一横四纵解决方案」聚焦制造业数据中台场景级部署.为您提供多种版本规格和增值功能包的灵活组合.产品版本和功能特性.基于业务场景划分数据板块和主题域，并进行概念...
来自：
云产品
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
一站式提供数据采集、加工、分析、告警可视 化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。更多信息，请参见：www.aliyun.com/product/sls Tracing Analysis： 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开 发者...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
需要有灵活可扩展的计算平台、弹性可伸缩集群资源及灵活管控的用户 名词解释 Databricks数据洞察：是基于 Apache Spark的全托管大数据分析平台，产品内核 引擎使用 Databricks Runtime，并针对阿里云平台进行优化，使用 Notebook交互 式数据分析，Python库便捷安装，使用 Delta表存储比其他使用 Spark查询性能 有 5-10倍的...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
同时日志 服务还一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等 功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。详见：https://www.aliyun.com/product/sls 资源目录（RD）：RD（Resource Directory，资源目录）是面向企业客户提供的 一套多级账号和资源管理服务，使得企业 IT团队可以...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案，本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU，利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS构建于 Apache Arrow、pandas和 scikit-learn等流行的 开源项目之上，为最流行的 Python数据科学工具链带去 GPU提速。通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 ...
可观测链路 OpenTelemetry 版
针对 PHP、C++、Go、Node.js 等多语言应用，提供端到端全链路追踪、应用监控与告警、链路拓扑、日志关联分析能力，并基于 OpenTelemetry 开源标准，兼容 Jaeger、Zipkin、SkyWalking 等开源项目数据上报。快速发现分布式应用架构下的性能瓶颈，缩短错/慢调用根因定位耗时，提高全栈开发与诊断效率。
作为云原生的运维数据可视化平台，面向用户提供免运维和快速启动 Grafana 运行环境的能力，默认集成如数据库 MySQL、消息队列 RockteMQ、实时计算 Flink、Elasticsearch、可观测监控 Prometheus 版、日志服务SLS等各类阿里云服务数据源，并提供丰富的数据看板，让运维监控更加高效、精细.可观测可视化 Grafana 版.基于开源 ...
来自：
云产品
大数据workshop
大数据workshop
在 HoloWeb控制台，选择 SQL编辑器，然后点击新增 SQL窗口，选择对应的数 据库，编辑填写相应的 DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合 OLAP数据分析，数据表的行存模式更适合高 QPS点查询场景）。1.首先创建 ads_province_info表。文档版本：20210628（发布日期）42 阿里云最佳实践大数据 WorkShop ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
一站式提供数据采集、加工、分析、告警可 视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详见：https://www.aliyun.com/product/sls CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管 理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
基于 MaxCompute的大数据 BI分析 最佳实践 场景描述 业务架构 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做 ETL之后，同步到 Hologres进行实时分 析，之后通过 Quick BI进行快速可视化展示。解决问题 1.互联网行业、电商、游戏行业等网站、App、小程 序应用内 BI分析场景。2.可扩展到各类网站 BI分析场景...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
实现MaxCompute表数据的可视化分析.与MaxCompute集成，实现可视化分析.联合发布企业级BI分析解决方案.帆软 FineBI.基于Kettle的MaxC插件数据上云.查看全部日志.基于 MaxCompute 构建数仓，在初期只有一名开发人员的情况下，也能快速地搭建起数仓系统，且费用成本极低.MaxCompute 将原本需要清算8小时的用户交易数据缩短至1...
来自：
云产品
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
一站式提供数据采集、加工、分析、告警可 视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详见：https://www.aliyun.com/product/sls DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
DLA 无缝集成各类商业分析工具，提供便捷的数据可视化。详见：https://www.aliyun.com/product/datalakeanalytics DMS：数据管理服务（Data Management Service，简称 DMS）支持 MySQL、SQL Server、PostgreSQL、Oracle、MongoDB、Oceanbase等关系型数据库和 NoSQL 数据库的管理。它是一种集数据管理、结构管理、用户授权、...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
RAPIDS构建于 Apache Arrow、pandas和 scikit-learn等流行的 开源项目之上，为最流行的 Python数据科学工具链带去 GPU提速。通常一个数据处理流程包含，数据处理，模型训练，可视化三部分。对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 ...
- 产品推荐
- 这些文档可能帮助您