本文介绍导入OSS数据到日志服务所涉及的使用限制。采集限制 限制项 说明 单个文件大小 如果是Snappy压缩格式的文件（非Framing-format格式），最大支持350 MB。如果是其他格式的文件，最大支持5 GB。单个文件大小超过限制时，导入任务会...
阿里云日志服务联合风险识别产品推出风险识别日志功能，将日志推送到日志服务中。日志服务提供查询分析、告警、投递、加工等功能，帮助您了解业务总体风险浓度与趋势、追踪分析个体行为、实时监测及告警等。本文介绍风险识别日志功能相关的...
您可以使用Syslog-ng采集日志并通过Syslog协议上传到日志服务。本文介绍通过Syslog协议将日志上传到日志服务的操作步骤。相关限制 Syslog协议必须为标准的 RFC5424 协议。如果是其他Syslog协议,推荐使用 采集Linux系统Syslog。每条日志最大...
写出目标越多，事件标签TAG越多，输出的数据包日志组越多，网络交互越多，则速度越慢。反之越快。加工逻辑 加工逻辑越复杂，搜索计算越多，频繁进行外部资源同步，对计算与网络消耗越大，则速度越慢。反之越快。第三方数据源 从第三方获取...
全部地域【推荐】使用AliyunPipelineConfig管理采集配置 使用AliyunLogConfig管理采集配置 通过DaemonSet方式采集Kubernetes容器文本日志 通过Sidecar方式采集Kubernetes容器文本日志 新版日志审计服务 与旧版日志服务审计相比，新版日志...
客户端计算与I/O逻辑分离：日志异步输出，不阻塞工作线程。支持多优先级：不同客户端可配置不同的优先级，保证高优先级日志最先发送。本地调试：支持设置本地调试，便于您在网络不通的情况下本地测试应用程序。在以上场景中，C Producer ...
方式 说明 全员 日志审计服务自动将资源目录下的所有成员纳入到采集名单中，并采集这些成员中已开启日志采集功能的云产品的日志。新增资源目录成员后，该成员自动被纳入采集名单中。移除资源目录成员后，该成员自动被移出采集名单。自定义 ...
本文介绍日志审计服务在采集到日志后的审计操作。前提条件 已完成日志审计配置。具体操作，请参见 开启日志采集功能。已有对应权限的账号，权限配置请参见 配置权限助手。如果您需要查询日志、查看报表，则当前登录的账号需要对日志审计...
写操作：您可以对日志服务资源进行写入操作。列表操作：您可以对日志服务资源进行查看操作。资源类型 动作（Action）说明 Project log:CreateProject 创建Project。log:DeleteProject 删除Project。log:GetProject 查看Project属性。log:...
工作原理 服务端利用PackId机制关联日志上下文，PackId格式为 上下文前缀-日志组ID，例如 5FA51423DDB54FDA-1E3。说明如下：上下文前缀：由大写的十六进制数字组成。例如 5FA51423DDB54FDA。相同上下文前缀表示属于同一日志上下文。日志组...
日志服务提供日志消费和查询功能，都均为对日志数据的读操作。日志消费 全量数据顺序（FIFO）读写，提供类似Kafka的功能。每个LogStore有一个或多个Shard，数据写入时，随机落到某一个Shard中。可以从指定Shard中，按照日志写入Shard的顺序...
本文介绍如何快速使用日志服务HarmonyOS SDK采集鸿蒙设备日志数据。前提条件 已完成日志服务HarmonyOS SDK安装。更多信息，请参见 安装HarmonyOS SDK。初始化SDK 您可以参考以下代码进行SDK初始化。import { AliyunLog,LogCallback } from...
本文介绍日志服务所涉及的术语。基础资源 术语 说明 项目（Project）项目是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。更多信息，请参见 项目（Project）。日志库（Logstore）日志库是日志服务中日志数据的采集、存储...
模式 方式 说明 资源目录管理模式 全员 日志审计服务自动将资源目录下的所有成员纳入到采集名单中，并采集这些成员中已开启日志采集功能的云产品的日志。新增资源目录成员后，该成员自动被纳入采集名单中。移除资源目录成员后，该成员自动...
日志服务采用半结构化的数据模式定义一条日志，包含日志主题、日志时间、日志内容、日志来源和日志标签五个数据域。日志服务对各个数据域的格式要求不同，详细说明如下表所示。数据域 说明 格式 日志主题（Topic）日志服务保留字段（_topic...
Project Logstore/Metricstore 说明 oss-log-阿里云账号ID-地域ID oss-log-store 开启访问明细日志采集时，日志服务自动创建该Logstore，用于区域化存储访问明细日志，即存储OSS Bucket访问日志、计量日志和批量删除日志。说明 oss-log-...
日志服务 Project的数据集功能支持跨地域、跨Store联合查询，可帮助您提升工作效率。本文为您介绍如何使用日志型数据集和时序型数据集。什么是StoreView 在日志服务的Project中，Storeview、Logstore、MetricStore 都是重要的资源。但是...
项目（Project）是日志服务中的资源管理单元，是进行资源隔离与访问控制的主要边界。同时它也是您访问日志服务资源的入口。什么是Project 项目（Project）是日志服务的资源管理单元，用于资源隔离和控制。Project中可包含Logstore、...
日志服务提供投递功能，支持通过控制台将数据实时投递至OSS、MaxCompute等阿里云产品。本文介绍数据投递功能的概念、功能优势、应用场景、计费规则、投递目标等信息。数据投递 数据投递是指将日志服务采集的数据通过控制台投递至其他阿里云...
日志服务提供数据实时消费功能，支持通过SDK实时消费数据。本文介绍实时消费功能的概念、功能优势、应用场景、计费规则、消费目标等信息。实时消费 实时消费是指第三方软件、多语言应用、云产品、流式计算框架等通过SDK实时消费日志服务的...
日志服务默认将整条日志以原始形式存入 content 字段，无论其来源是纯文本还是结构化数据（如 JSON）。虽然您可以通过全文搜索访问其中的信息，但若希望高效地按字段进行查询、统计或可视化，就需要借助解析插件，将内容提取为结构化的键值...
在阿里集团内，有大量成熟的产品可以完成此类工作，一般可供选型的产品如下：日志服务支持通过日志服务查询分析API直接对接DataV进行大屏数据展示。功能特点 计算方式根据数据量、实时性和业务需求会分为以下两种。实时计算（流计算）：...
Logstore是日志服务中的存储单元，用于收集、存储和查询日志数据。核心概念 什么是Logstore 日志库（Logstore）是日志服务的数据容器。一个 Project（项目）下可以创建多个Logstore，用于隔离和管理不同业务或来源的日志。此外，部分云产品...
日志服务支持投递日志数据至MaxCompute中进行存储与分析。本文介绍如何创建MaxCompute投递任务（新版）。前提条件 已创建日志服务Project、Logstore并完成日志采集。具体操作，请参见 管理Project、创建基础Logstore 和 数据采集概述。已在...
文件路径错误或者文件格式错误 OSS中不存在data这个目录或者文件格式写错，从而引发的404错误日志。加工规则样例#假设正确目录是test e_set("oss_file",res_oss_file(endpoint,ak_id=res_local("AK_ID"),ak_key=res_local("AK_KEY"),bucket...
删除MetricStore必须提前删除所有Logtail配置，通过减少数据保存时间，实现日志的自动删除。本文介绍如何在日志服务控制台上创建、修改、删除MetricStore与时序数据等操作。基本概念 时序库（MetricStore）是日志服务中时序数据的采集、...
日志服务提供全局默认日历，用于解决不同时区、不同国家的工作日和节假日同步问题。支持修改默认时区、国家的工作日和节假日。本文介绍修改全局默认日历的操作。操作步骤 登录 日志服务控制台。进入全局默认日历管理页面。在Project列表...
删除EventStore会永久删除事件数据，删除日志可以通过设置更短的保存时间。本文介绍如何在日志服务控制台上创建、修改和删除EventStore与事件数据等操作。基本概念 事件库（EventStore）是日志服务中事件数据的采集、存储和查询单元。每个...
本文以网站访问日志为例，为您介绍完整的数据加工流程，帮助您快速熟悉数据加工功能及其操作。视频操作 前提条件 已创建名为web-project的Project。具体操作，请参见 管理Project。在Project（web-project）中创建名为website_log的源...
在 Kubernetes 环境中，容器日志分散、难以集中管理，导致问题排查效率低、运维成本高。通过以DaemonSet模式部署LoongCollector采集器，并在日志服务控制台创建采集配置，即可实现日志的统一收集与结构化处理，提升日志检索、问题定位及可...
本文介绍如何在 日志服务 中创建定时SQL任务，将源Logstore中的数据处理后存储到目标Logstore中。重要 目前，定时SQL功能在公测阶段，暂未计费。公测结束后，将收取SQL独享版计算资源消耗费用。费用说明请参见按使用功能计费模式计费项。...
如果您需要监控 日志库（Logstore）的日志中某字段的指标变化趋势，可以使用数据加工函数e_to_metric将日志字段转换为 时序库（MetricStore）中的度量指标（Metric），然后通过时序库查看该指标的变化趋势。本文以Nginx访问日志为例介绍...
由于偏移量只在请求被日志服务端拒绝时更新，因此可能出现日志服务端所查询到的日志的时间和日志实际的写入时间不一致的情况。LoongCollector的部分逻辑依赖于系统时间的递增，建议在每次机器时间调整后重启采集器。enable_log_time_auto_...
您可以通过默认角色或自定义RAM角色完成数据访问授权，详细说明如下：默认角色：默认角色AliyunLogDefaultRole具备读取源Logstore数据和写数据到OSS Bucket的权限，因此您可以授权OSS-HDFS投递任务扮演默认角色，获取数据访问权限。...
日志服务帮助畅捷通运维开发团队解决了误报频繁、无法快速发现问题站点、无法快速定位异常的问题，实现了运维效率、运维成本、沟通成本等方面的改善。日志服务支撑了畅捷通所有云产品的健康稳定运行，在IT运维开发领域树立了一个标杆。公司...
Logtail配置是Logtail采集日志的策略集合。通过在创建Logtail配置时设置数据源、采集模式等参数，实现定制化的采集策略。本文介绍API模式下Logtail配置相关的参数说明。旧版CRD-AliyunLogConfig的配置方式已停止维护，请使用新版 ...
为了统一管理阿里云容器服务ACK集群或自建 Kubernetes 集群在多环境、多集群场景下的日志采集配置，避免因手动配置导致的不一致、效率低下及变更不可追溯等问题，可采用Kubernetes 的自定义资源（CRD）方式定义采集配置。通过该方式，无论...
日志服务SLS作为云原生数据应用平台，为Log、Metric、Trace等数据提供大规模、低成本、实时的平台化服务。借助一站式数据采集、处理加工、存储、查询与分析、监控、输出与集成等功能，提升开发、运维、运营、安全等场景数字化能力。典型...
JSON：帮助写API CreateLogtailPipelineConfig-创建Logtail流水线配置 调用。JSON中的 key-value 对应API调用时的 参数-参数值。若新建采集配置并 使用Logtail SPL解析日志（如下图），需先添加 日志样例。之后，在 预览 处理效果时，请...
您可以通过阿里云云监控服务来监控日志服务的写入流量、总体QPS、服务状态等指标，获取日志服务的使用情况。同时您可以通过创建报警规则，对日志采集、Shard资源使用等异常进行监控。前提条件 RAM用户查看云监控指标，需要主账户为其授予云...