SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 24 SLS多云日志采集、处理及分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。按云...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
场景描述 应用系统的日志数据一般包括Web日志和App日志，通过日志分析可以获取网站每 类页面或App内容的PV（PageView，页面访问量）值，UV（UserView，用户访问 量）、独立IP数，用户检索的关键词排行、用户访问最多的页面基础信息，甚至还可 以构建广告推荐模型、用户行为特征分析等来帮助运营决策。本场景以在线教育中一...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
Filebeat 可以监听指定的日 志文件或位置，从中收集日志事件并将其转发到 Elasticsearch或 Logstash进行索引，本实践采用 Filebeat收集 game-server的日志，并转发到 kafka。步骤1 在 ECS服务器上面，下载 Filebeat,为了兼容消息队列 kafka版本，推荐下载 filebeat-6.4.0-linux-x86_64：wget ...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
场景描述 云原生和大数据时代的到来,用户在拥抱云原生进行容器化改造的同时也专注于数据 分析，希望能够将云原生容器化编排改造带来的计算资源弹性、计算资源成本优化、计算与存储分离、资源调度隔离等优势与大数据分析进行结合，因此可以将大数据分 析与容器编排调度主流技术 Kubernetes相结合，同时结合阿里云提供的弹性...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
SelectDB 具有云原生存算分离、实时极速、融合统一、简单易用、开源开放等核心优势，提供万级 QPS 的实时报表查询、亚秒级的即席多维分析体验、近10倍性价比的日志分析方案、最高降本80%的湖仓一体分析平台。云数据库 SelectDB 版原理架构 云原生存算分离架构、多计算集群、共亨存储，让海量数据分析更快、成本更低。快速...
来自：
云产品
E-MapReduce Serverless StarRocks 版
E-MapReduce Serverless StarRocks版简称EMR StarRocks，是阿里云提供的全托管服务，内核100%兼容StarRocks，性能比传统OLAP引擎提升3-10倍，助力企业高效构建湖仓分析、高并发查询及实时分析等大数据应用。
运维简单，兼容 MySQL 协议，可对接各类 BI 分析工具.实时计算 Flink 版.近年来，湖仓融合架构被越来越多的企业所采用，但是构建湖仓融合架构也有很多问题。第一，如何统一湖仓的元数据和建表语句，让用户获得一个统一的数据目录和表结构；第二，如何完善湖仓的实时能力，来解决不同场景的实时性需求；第三，如何让湖仓架构...
来自：
云产品
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案，本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
另一部分需要将数据写入 OLAP系统，经过多维分 析给业务方使用。5.数据挖掘：从历史中预测未来一直是人类的梦想，对公司来说，能对未来趋势作出 正确的判断才能基业长青。机器学习就是通过历史数据对未来进行预测的一种手 段，可以使数据发挥最大的作用。6.业务系统：经过处理的数据，可直接服务于相关业务方，如运营、决策...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
分析日志数据，计算实时指标，确保服务稳定性.使用实时计算 Flink 版搭建实时数仓，服务订单超时、0点起跳等典型业务场景，实现业务的实时化.众安保险基于阿里云实时计算 Flink 版构建了实时数仓，分析实时营销情况和用户指标，对用户行为进行实时监控.实时计算 Flink 全托管.适合专注业务发展，平台运维原厂兜底的客户....
来自：
云产品
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
更多信息，请参见：www.aliyun.com/product/fc 消息队列 Kafka版：消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高 吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、文档版本：20210806（发布日期）III Function Compute构建高弹性大数据采集系统 产品介绍 流式数据处理、在线和离线分析等...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
适用场景 日志采集、处理及分析 日志使用 Flink实时写入 HDFS 日志数据实时 ETL 日志 HIVE分析 基于 DataWorks一站式开发 数据治理 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤：文档版本：20201020 1 基于 Dataworks的大数据一站式开发及数据治理 最佳实践概述 方案优势 大数据一站式开发，完善的...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
底层数据迁移 保存在 HDFS的数据可通过 Hadoop原生的 DistCp工具进行迁移，详细迁移方案 请参考：《自建 Hadoop数据迁移到阿里云 EMR》最佳实践（https://www.aliyun.com/acts/best-practice/preview?id=162538）Hive元数据库迁移 Hive元数据信息通常保存在客户自建的 MySQL数据库中，可通过 mysqldump工 具将数据库进行...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
Flume Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日 志数据。它具有基于流数据流的简单灵活的体系结构。它具有可调整的可靠性机 制以及许多故障转移和恢复机制，具有强大的功能和容错能力。它使用一个简单 的可扩展数据模型，允许在线分析应用程序。文档版本：20210723 IV 自建Hadoop迁移...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
场景说明 本实践重点模拟云上资源配置变更信息，将数据集成到自有CMDB平台（CMP）：场景一：由云产品资源操作，所产生的资源配置变更信息，由配置审计投递到日 志服务；场景二：由程序通过编程调用 Open-api的方式消费日志服务里面的数据；同时也 可以通过编程方式，直接查询配置审计里面的数据。2.2.多账号关系 确保资源...
- 产品推荐
- 这些文档可能帮助您