通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
工作原理 Kibana：用于查询、分析和可视化展示数据 Elasticsearch：用于存储Kibana的Meta数据，主要为配置信息，由于Kibana的Meta 信息经常需要更新，而SLS不支持更新操作，因此需要部署一个Elasticsearch专门 用于存储kibana的Meta数据 Proxy：用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求，需要...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供可视化部署方案和stepbystep实操指导：1、高可靠：支持多可用区容灾，具备完善的流量防护、健 康检测、自动恢复等能力，优化大量可用性痛点，保证引 擎持久稳定运行。2、低成本：节省用户自建网关、注册配置中心、微服务治 理体系的人力成本，高性能及...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
可视化工具DataV搭建 DataV数据可视化是使用可视化应用的方式来分析并展示庞杂数据的产品。DataV旨 让更多的人看到数据可视化的魅力，帮助非专业的工程师通过图形化的界面轻松搭建 专业水准的可视化应用，满足您会议展览、业务监控、风险预警、地理信息分析等多 种业务的展示需求。步骤1 登录DataV控制台。...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
数据库式体验、多种GUI工具、数据SaaS可视化工具支持，学习使用成本低.完善的生态，学习使用成本低.云原生数据湖分析（DLA)产品退市公告.云原生数据湖分析（DLA）产品退市公告.Serverless Presto版本解决如下场景业务挑战：快速搭建报表，例如QuickBI加速，友盟返还数据分析；支持轻量级的ETL，简单利用SQL就可以实现快速的...
来自：
云产品
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，无需对数据分析应用做...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
一站式提供数据采集、加工、分析、告警可 视化与投递功能，全面提升研发、运维、运营和安全等场景数字化能力。详见：https://www.aliyun.com/product/sls CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管 理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也支持自助拖 拽方式定义...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
DataV数据可视化 3.通过实时计算 Flink实现实时数据分析。4.通过实时计算 Flink实现事件触发。最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Flink的资讯场景实时数仓 最佳实践 文档版本：20220223（发布日期）文档版本：20150122（发布日期）I 基于 Flink的...
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题，通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据，通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
Cloud Serving Benchmark(YCSB)是开源压测工具，本最佳实践将使用该工 具压测 Tair数据库。YCSB的 github地址：https://github.com/brianfrankcooper/YCSB 步骤1 下载 YCSB源码。在测试 ecs（redis-client）上安装 git。yum-y install git git clone https://github.com/brianfrankcooper/YCSB.git 可以在本最佳实践 GIT...
大数据workshop
大数据workshop
技术选型 阿里云框架 开源框架 ➢ 数据采集传输 DataHub、DTS Flume、Kafka、Canal、MaxWell ➢ 数据存储 RDS、MaxCompute MySQL、Hadoop、HBase ➢ 数据计算 实时计算 Flink版 Spark、Flink ➢ 数据可视化 DataV、QuickBI Tableau、Echarts、Kibana 2.2.4.系统架构设计 下图为所设计的系统架构设计，主要包括数据源（两类...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
阿里云云原生可观测套件围绕可观测监控 Prometheus 版、可观测可视化 Grafana 版和可观测链路 OpenTelemetry 版，形成指标存储分析、链路存储分析、异构构数据源集成的可观测数据层，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力.咨询&答疑加入钉群：3360022492.阿里云云原生可观测套件.连接孤岛，而不是...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
聚合多数据源构建统一数据可视化大盘.可观测可视化 Grafana 版.聚合多告警源构建统一告警管理体系.超过 5000 家企业共同的选择.应用实时监控服务ARMS.应用监控 eBPF 版.可观测链路 OpenTelemetry 版.可观测监控 Prometheus 版.可观测可视化 Grafana 版.性能测试PTS.应用实时监控服务.查看更多商品.针对 Web 应用、网站、小...
来自：
云产品
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
作为云原生的运维数据可视化平台，面向用户提供免运维和快速启动 Grafana 运行环境的能力，默认集成如数据库 MySQL、消息队列 RockteMQ、实时计算 Flink、Elasticsearch、可观测监控 Prometheus 版、日志服务SLS等各类阿里云服务数据源，并提供丰富的数据看板，让运维监控更加高效、精细.可观测可视化 Grafana 版.支持按需...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您