当使用SQL分析时，如果数据量较大，日志服务可能只返回部分匹配的结果。增加Shard数量可以提升读写能力，但只对新写入的数据生效，而且会导致 实时消费 的客户端过多。SQL独享版支持更强大的SQL分析能力，可以解决这一问题，典型场景包括：...
日志服务提供的数据加工功能，通过编排内置的两百多个函数，使用协同消费组对日志数据进行消费，实现对日志数据的加工处理。本文档主要介绍进行数据加工时日志数据的调度原理，以及加工规则引擎的工作原理。调度原理 日志服务的数据加工...
阿里云云命令行Cloud Shell已经集成日志服务CLI，您无需部署配置，可以直接通过Cloud Shell管理日志服务资源和下载日志服务数据。什么是Cloud Shell？Cloud Shell允许您通过命令行管理阿里云资源。通过浏览器启动Cloud Shell时，Cloud ...
在进行日志数据查询分析时，日志中的部分信息需要和外部存储（ExternalStore）的信息进行关联查询，从而进一步丰富日志服务中的日志数据。外部存储简介 外部存储和Logstore的区别 项目 外部存储（ExternalStore）Logstore 数据存储 日志...
日志服务的典型应用场景包括：数据采集与消费、数据清洗与流计算（ETL/Stream Processing）、数据仓库对接（Data Warehouse）、日志实时查询与分析。数据采集与消费 通过日志服务LogHub功能，可以大规模低成本接入各种实时日志数据（包括...
日志数据存储 日志数据主要包括审计日志、查询详情日志，经过多重的拆解、组合以及聚合后，目前主要存储在OLAP数据库中，进行后续的实时多维分析。其中审计日志单独存储在一个数据库表中，包括USER、DATABASE、RT、SQL、TYPE等明细信息；把...
本文以ECS上的Nginx日志为例，介绍如何通过日志服务将日志数据写入AnalyticDB MySQL 2.0集群。背景信息 日志作为一种特殊的数据，对处理历史数据、诊断问题以及了解系统活动等有着非常重要的作用。对数据分析人员、开发人员或者运维人员而...
流日志分类 根据存储位置的不同，流日志可分为两类：SLS类型流日志 SLS类型流日志的功能是将捕捉到的流量信息存储在阿里云日志服务中，您可以在日志服务中查看和分析相关数据。SLS类型流日志功能测试期间暂不收取费用，日志服务将收取相应...
您可以通过日志服务SLS存储和分析OSS日志数据，也可以将OSS日志数据导出并存储到指定的OSS目录长期保存，然后通过数据湖分析服务对长期保存的OSS日志数据进行分析。通过数据湖分析服务（Data Lake Analytics，DLA）分析OSS日志数据前，您...
服务日志 日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。当前Project产生的所有日志数据都会被分类保存到特定的...
日志服务支持对每一个源Logstore配置一个加工任务，实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。场景说明 某数据分析公司需要将Logstore中的每一条数据进行复制，并根据内容分别分发到...
您在各个云产品控制台开通日志功能后，即可执行日志服务相关操作。常用操作 采集到云产品日志后，您可以执行如下操作。操作 说明 查询和分析日志 查询和分析日志。具体操作，请参见 查询和分析日志。查询和分析时序数据 查询和分析时序数据...
实时计算（流计算）：固定的计算+变化的数据 离线计算（数据仓库+离线计算）：变化的计算+固定的数据 在对实时性有要求的日志分析场景中，日志服务为您提供实时索引LogHub中数据机制，可通过LogSearch/Analytics直接进行查询分析。...
阿里云日志服务提供服务日志功能，支持记录Project内的用户操作日志等多种日志数据，并提供多种分析维度的仪表盘。您可以通过多种方式实时掌握日志服务的使用状况、提高运维效率。默认配置 默认配置项 配置内容 Logstore 当前Project产生的...
本文将以LogHub数据同步至MaxCompute为例，为您介绍如何通过数据集成功能同步LogHub数据至数据集成已支持的目的端数据源（例如MaxCompute、OSS、Tablestore、RDBMS和DataHub等）。前提条件 准备好相关的数据源，详情请参见 创建MaxCompute...
日志服务支持通过数据加工实现跨地域传输数据，本文介绍跨地域传输数据的使用场景、操作步骤、计费等内容。使用场景 当您的业务分布在不同地域时，相关日志也会分布在不同地域。当您需要对不同地域的日志进行集中管理时，您可以使用日志...
数据管理DMS基于操作日志的基础功能，重磅推出了操作审计功能。当您需要快速排查、定位数据库安全问题及有安全审计用途时，可使用操作审计查看在SQL窗口产生的SQL语句列表、工单列表、登录列表、操作日志。功能说明 数据管理DMS的操作审计...
名称 类型 描述 示例值 object 项目的服务日志数据结构。loggingProject string 服务日志要保存到的 Project 名称。my-project loggingDetails object[]服务日志配置列表。type string 服务日志的种类。取值包括：consumergroup_log：消费...
如果您需要存储防护对象的日志数据，并对日志数据进行查询与分析，您需要先开启WAF日志服务。如果您不再需要使用日志服务，您可以降配日志存储容量（包年包月实例）或直接关闭日志服务（按量付费实例）。本文介绍如何开启或关闭WAF日志服务...
背景信息 开启服务日志功能时，您可以选择服务日志的类型，包括 详细日志、重要日志、任务运行日志，日志类型的说明请参见 日志类型。详细日志：详细日志会在您选择的Project创建名称为 internal-operation_log 的LogStore，在当前Project...
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
云监控可以直接消费Logstore中日志数据，提供日志监控功能。通过将日志服务与云监控结合，形成了轻量级、全面、易用的日志监控解决方案。简单、易用，相比传统ELK方案，零编码即可享有完整监控解决方案。提供日志数据实时分析、监控图表...
完成数据流的配置或变更后，您需要通过发布操作将最新的数据流发布，有效避免部分变更未经确认被直接发布。登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据集成>离线集成。单击数据流名称，进入数据流详情页面。可选：...
您可以在 云原生数据仓库AnalyticDB MySQL版 控制台上通过一键建仓将一个日志服务项目（Project）中的日志投递到 AnalyticDB MySQL 集群，快速创建日志仓库。适用范围 一键创建数据仓库仅适用于 AnalyticDB MySQL版 数仓版（3.0）集群。...
当涉及的Logstore的计费模式为按写入数据量计费时，流日志捕获的流量信息存储在日志服务中，您可以在日志服务中查看和分析相关数据，日志服务将根据原始写入数据量等进行收费。更多信息，请参见 按写入数据量计费模式计费项。使用限制 仅...
运维中心日志事件 事件名称 事件说明 周期任务 CreateSupplementalWorkflow 创建补数据工作流。UpdateTask 暂停任务。UpdateTask 恢复任务。ChangeTaskPriority 修改任务优先级。周期任务、手动任务 ChangeTaskOwner 修改任务负责人。手动...
阿里云日志服务和专有网络联合推出Flowlog日志中心，用于VPC的策略统计、弹性网卡流量统计以及网段间流量统计，帮助您快速、有效地分析VPC流日志。产品试用 SLS Playground中的Flowlog日志中心Demo，内置了实例、演示数据、可视化图表等...
本视频介绍如何通过定时SQL将日志数据导入时序库。
购买并启用数据库审计实例后，您可以在云盾数据库审计管理控制台管理您的数据库审计实例。本文介绍如何为数据库实例配置白名单、管理存储容量、升级和续费。前提条件 已启用数据库审计实例。具体操作，请参见 启用数据库审计实例。操作步骤...
Web应用防火墙（Web Application Firewall，简称WAF）日志服务通过阿里云日志服务实时地采集已接入WAF防护的网站业务的全量日志，并对采集到的日志数据进行查询与分析，以丰富的仪表盘形式展示查询结果，满足等保合规要求和网站业务的防护...
阿里云日志服务和友盟联合推出实时日志订阅功能，将友盟数据开放平台U-DOP的各类明细数据一键实时同步至日志服务，实现日志实时查询、可视化分析、告警、投递、加工等操作。本文介绍友盟相关日志的资源说明、费用说明和使用限制。资源说明 ...
rawLog object[]否 原始日志数据 object 否 日志数据为 key:value 的 map 形式 string 否 原始日志数据 key value 都为 String[{"time":"1694761550","cnt":"45416","cnt2":"12454"}]mlDataParam MLDataParam 否 数据的结构体 返回参数 ...
日志服务提供智能巡检功能，用于对监控指标或业务日志等数据进行全自动、智能化、自适应的异常巡检。本文介绍如何通过智能巡检功能，对通过SQL聚合的多维指标进行巡检与打标反馈。前提条件 已采集SLB 7层访问日志到名为slb-log的源Logstore...
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...
低频存储：0.005元/GB/天 25元 案例3 C客户业务数据日志量1天1 TB，正在进行日志数据平台选型，客户需求包括全字段可查可分析，通过数据加工清洗错误日志，日志存储30天以备问题回溯，部分数据投递到MC进行进一步的离线数据挖掘。...
概述 日志服务不支持直接关闭，若您不再需要使用日志服务，可以通过删除所有数据，将不会再产生不必要的计费。本文主要介绍如何不再使用日志服务。详细信息 请删除所有Project和Logstore以清除所有的日志数据，具体操作请参见 日志服务如何...
日志服务采集到日志后，支持将日志投递至云原生数据仓库AnalyticDB MySQL进行存储与分析。本文档介绍将日志投递至AnalyticDB MySQL的操作步骤。说明 投递数据到AnalyticDB MySQL遵循REPLACE INTO语义。REPLACE INTO用于实时覆盖写入的数据...
在互联网服务场景下，运维监控数据量激增，采集监控的数据类型更加多样（时序指标、日志、代码链路等），现有运维系统采用的单模引擎（如RRD数据库、openTSDB时序数据库、ElasticSearch检索类数据库）应对这些实时、高并发采集，且价值密度...
可视化方式 日志服务支持的可视化方式如下：项目 说明 仪表盘 仪表盘是日志服务提供的实时数据分析大盘。您可以在仪表盘查看多个基于查询与分析结果的统计图表。当您打开或刷新仪表盘时，统计图表自动执行一次查询与分析操作。统计图表 ...