日志服务支持加工历史数据，本文介绍加工历史数据的操作步骤及相关问题。前提条件 已采集数据到日志服务。具体操作，请参见 数据采集。如果您使用的是RAM用户，则需要先授予RAM用户数据加工操作权限。具体操作，请参见 授予RAM用户数据加工...
日志接收时间 日志到达日志服务的服务器被接收时的时间，默认不保存在日志中，但是如果Logstore开启了记录外网IP地址，则该时间会保留在日志标签字段的_receive_time_中。数据加工中时间的完整字段名是_tag_:_receive_time_。数据类型为...
阿里云日志服务联合云安全中心联合推出日志分析功能，提供风险威胁数据的实时采集、查询与分析、加工、消费等一站式服务，帮助您全面了解、有效处理服务器的安全隐患，实现对云上资产的集中安全管理。本文介绍云安全中心日志分析功能相关的...
您可以将OSS Bucket中的日志文件，通过数据导入方式导入到日志服务，实现日志的查询分析、加工等操作。目前日志服务只支持导入5 GB以内的OSS文件，压缩文件大小按照压缩后的大小计算。前提条件 已上传日志文件到OSS Bucket中。具体操作，请...
日志服务支持采集IIS日志，并进行多维度分析。本文通过PV、UV、访问地域分布、错误请求、请求方法等维度分析IIS日志，以评估网站访问情况。前提条件 已采集IIS日志。具体操作，请参见 使用IIS配置模式采集日志。说明 在采集过程中，日志...
本文介绍一种基于日志服务按量计费方案，该方案每天处理千亿级计量日志，被众多云产品使用。计量日志生成计费结果过程 计量日志记录了您所涉及计费的项目，后端计费模块根据计费项和规则进行运算，产生最后账单。例如如下原始访问日志记录...
如果需要每个Pod使用单独的Logtail实例来收集Pod内所有容器的日志，可以使用Sidecar方式在Kubernetes集群上部署Logtail。本文介绍Sidecar方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 Sidecar模式 在...
green service:search_service 解决方案 将一条日志拆分成三条日志，给主题赋予三个不同值再进行分裂，经过分裂后会分成除 topic 不同，其他信息相同的三条日志。e_set("_topic_","server_status,client_status,overall_type")e_split("_...
为了解决这些问题，日志服务提供了Elasticsearch兼容接口，最大程度保障Elasticsearch查询分析方案迁移的平滑度，降低将日志引擎从Elasticsearch切换为日志服务的使用难度。日志服务所提供的Elasticsearch兼容接口，其兼容机制是将...
如果需要只使用一个Logtail实例收集Kubernetes节点上所有容器的日志，可以使用DaemonSet方式在Kubernetes集群上部署Logtail。本文介绍DaemonSet方式采集容器文本日志的工作原理、使用限制、前提条件、操作步骤等信息。工作原理 DaemonSet...
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
数据来源 日志服务支持的数据来源如下：类别 来源 接入方式 更多 应用 程序输出 Logtail 查询分析程序日志 访问日志 Logtail 分析Nginx访问日志 链路跟踪 Trace服务 Logtail 无 时序数据 Logtail Telegraf 无 语言 Java Log Service Java ...
当您使用SQL分析时，如果数据量较大，SQL普通版无法在一次查询中完整扫描指定时间段内的所有日志，返回的结果可能不包括所有匹配的数据，增加Shard可以提升读写能力，但只对新写入的数据生效。您可以通过开启SQL独享版，增加计算资源，提升...
调用日志接口写的日志会先写入到本地应用的沙盒文件中，触发日志上报逻辑后，再上传到日志服务器。本地日志格式 10.1.60&10.1.68 版本 写入本地的日志在沙盒的 Library>atrack>logs 文件夹下。该文件夹仅存放还未上报的日志，已经上报的...
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集脚本执行日志。前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，...
购买日志分析存储容量后，云安全中心默认开启了安全日志、网络日志、主机日志，分别记录系统中的安全事件、网络流量情况和主机的活动。本文介绍云安全中心支持的日志类型以及每种日志类型的字段说明。日志分类 云安全中心分为安全日志、...
阿里云日志服务C++ SDK帮助您在C++程序中调用日志服务的API接口，仅用于Linux平台。版本说明 更多信息，请参见 Aliyun Log C++ Release。示例代码 日志服务C++ SDK提供示例代码，方便您参考或直接使用。示例代码包括以下内容：GitHub源码 ...
本文介绍如何使用Jaeger客户端对接日志服务。背景信息 容器、Serverless编程方式提升了软件交付与部署的效率。在架构的演化过程中，可以看到以下变化。应用架构从单体系统逐步转变为微服务，其中业务逻辑变为微服务之间的调用与请求。资源...
调用PostLogStoreLogs接口向指定的Logstore中写入日志数据。接口说明 已创建并获取AccessKey。更多信息，请参见 访问密钥。阿里云账号AccessKey拥有所有API的访问权限，风险很高。强烈建议您创建并使用RAM用户进行API访问或日常运维。RAM...
Windows日志记录了系统中硬件、软件和系统问题的信息，同时还监视着系统中发生的事件。当ECS实例受到入侵或者系统（应用）出现问题时，您可以借助日志迅速定位问题的关键，从而极大地提高工作效率和服务器的安全性。本文以Windows Server ...
简介 在捕获窗口期间流日志会先聚合捕获到的流量信息，然后将聚合后的流量信息以流日志记录的方式写入到日志服务中，您可以在日志服务控制台查询和分析流量信息。依据被捕获流量的对象不同，流日志捕获的流量信息也不相同。下表为您展示流...
流日志功能捕获的流量信息以日志方式写入日志服务中。每条日志会捕获特定捕获窗口中的特定五元组网络流，捕获窗口大约为10分钟，该段时间内流日志功能先聚合数据，再发布流日志记录。流日志记录的字段信息，请参见 日志字段详情。资产说明 ...
日志服务联合云数据库Redis推出CloudLens for Redis，用于集中管理Redis实例以及采集Redis运行日志、慢日志和审计日志。本文介绍CloudLens for Redis的功能、资产、费用、使用限制等相关信息。功能说明 CloudLens for Redis支持如下功能：...
可以从指定Shard中，按照日志写入Shard的顺序批量读取日志。根据接收日志的时间，设置批量读取Shard日志的起始位置（cursor）。日志查询（LogSearch）提供海量日志查询和分析功能，根据条件进行日志查询与统计。通过查询条件查找符合要求的...
授权成功后才能保证VPC流日志被写入到日志服务中。警告 请勿取消授权或删除该RAM角色，否则将导致VPC流日志无法正常推送到日志服务。在顶部菜单栏中，选择资源实例所在地域。支持流日志功能的地域，请参见 功能发布及地域支持情况。在 流...
本文介绍如何快速使用日志服务.NET Core SDK完成常见操作，包括创建项目（Project）、创建日志库（Logstore）、写入日志和查询日志等。前提条件 已创建RAM用户并完成授权。具体操作，请参见 创建RAM用户并完成授权。已配置环境变量 ALIBABA...
API/SDK：使用API或SDK向日志服务写入日志时，可以显式地指定_time_字段的值（默认是发送时间）。receive_time_（到达时间）：到达时间是指表示日志到达并保存到服务端的时间。在日志服务中，到达时间是一个系统标签（Tag），不允许修改。...
阿里云日志服务（Log Service，简称SLS）提供数据的采集、加工、查询与分析、可视化、告警、消费与投递等功能。如果您熟悉网络服务协议和一种以上编程语言，您可以通过API接口管理您的数据资源。使用限制 您能创建的Project、Logstore、...
本文介绍如何通过Unity Plugin将Unity平台的移动端游戏App的崩溃数据、应用数据接入到日志服务移动运维监控中。移动运维监控用于实时监控游戏崩溃、ANR等问题，并且支持智能分析，帮助您低成本、高效率地发现App中的各类隐患。前提条件 已...
说明 通过Logstore的查询的方式可能不准确，因为：数据加工是基于日志接收时间进行加工，可能正在加工历史日志，当前查询的时间范围与日志的写入时间并不一定一致。日志服务在写入历史日志时的索引可以查询，但通常会有几分钟的延迟。数据...
写入日志到日志服务或从日志服务读取日志时，多条日志被打包为一个日志组，以日志组为单元进行写入与读取。该方式可减少读写次数，提高业务效率。每个日志组最大长度为5 MB。日志服务的基本数据模型请参见 LogHub数据模型。
日志服务支持通过Web Tracking自动采集终端用户浏览器的日志。本文介绍如何使用Web Tracking JavaScript SDK自动采集浏览器的用户日志。背景信息 您可以通过Web Tracking采集各种浏览器、小程序、iOS App或Android App的用户信息，例如：...
例如，执行如下查询分析语句关联日志服务中日志的ID和OSS文件中的userid，补全日志信息。说明 采集的日志中需要包含参数userid。select*from<logstore>l join<External storage>u on l.userid=u.userid 配置项 说明 示例 Logstore 需要查询...
当您使用Logtail采集日志发生异常时，可通过Logtail自助诊断工具查看Logtail客户端是否存在异常，并根据工具提示快速定位并解决问题。重要 Logtail自动诊断工具仅支持Linux系统的服务器。Logtail只采集增量日志。如果下发Logtail采集配置后...
本文主要介绍在日志服务控制台中使用日志查询功能时，查询不到日志的排查思路。未成功采集日志 如果未成功采集日志到日志服务，则无法查询到目标日志。请在采集的预览界面查看是否有日志。如果有，说明已采集到日志，建议您排查其他原因。...
解决方案：增加判断逻辑，如果字段 a 的值不是合法的时间戳格式，则将这条日志事件输出到 target2 中。e_if_else(str_isdigit(v("a")))，e_set("b",dt_fromtimestamp(v("a")))，e_output("target2"))数值运算前未进行数据类型转换。加工...
背景信息 代理方案 传统代理方案中，应用服务器需要作为中转站，处理所有来自移动端上传的日志。如果移动端应用日志数量较大或移动设备激增时，单点的应用服务器会成为数据上传的瓶颈。直传方案 客户端直传的其中一种方式是将AK写入客户端...
本视频介绍基于数据加工分析Java异常日志的解决方案。
本文介绍监控告警与日志中的常见问题。Datastream作业TM日志中抛NullPointerException如果没有详细错误栈怎么办？如何针对单个Class设置日志级别...解决方案 参考 配置作业日志输出 重新进行配置，根据实际情况对表格中说明的参数进行修改。
解决方案 将日志数据存储到不同Logstore 不需要配置多个Logtail采集配置，可以使用日志服务数据加工功能对日志进行复制，避免对同主机的其他服务性能造成影响。具体操作，请参见 复制Logstore数据。创建多个Logtail采集配置 主机场景 创建...