运行环境复杂：程序运行在不同的环境中，产生的日志也保存在不同的环境中，例如应用相关的日志在容器中、API相关日志在FunctionCompute中、旧系统日志在本地IDC中、移动端相关日志在用户处、网页端日志在浏览器中等。为了能够获得全量日志...
HBase Shell 黑屏工具 数据查询 集群管理系统内支持图形化SQL交互查询，请参见 数据查询，也支持使用开源工具HBase Shell/CQLsh。HBase Shell CQLsh 生态体系 数据搬迁 支持与HBase/Cassandra各个版本之间的在线、跨版本、自动化、高效搬迁...
兼容开源Milvus生态 全面兼容开源Milvus系统，提供了Attu等丰富的开源管理工具，更拥有丰富且活跃的生态社区资源。产品功能 构建企业级全托管的可扩展 AI 向量数据库相似性检索服务 高可用性 致力于为客户提供优质的产品体验，基于阿里云...
接入数据 日志服务支持接入的数据源类型如下：云产品 自定义代码 自建开源或商业软件 数据导入 监控数据 模拟接入 开放告警 更多信息，请参见 数据采集概述。Project列表 Project列表 区域展示已创建的Project。您可以查看、创建、删除和...
Logtail是日志服务提供的日志采集Agent，用于采集阿里云ECS、自建IDC、其他云厂商等服务器上的日志。本文介绍Logtail的功能、优势、使用限制及配置流程等信息。Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万...
您可以通过不同场景，对比 SAE 与开源自建产品在系统搭建、成本、功能管理、弹性效率和监控诊断等方面的优势。基础场景 对比项 开源自建SC/Dubbo+IaaS集群 开源自建SC/Dubbo+自建K8s集群 SAE IaaS购买和系统搭建 需要。需要。不需要。SAE ...
不支持 支持cpu/内存阈值保护 日志文件采集场景-性能对比 以Nginx的access log为样例，如下一条日志365字节，结构化成14个字段：在下面的测试中，将模拟不同的压力将该日志重复写入文件，每条日志的time字段取当前系统时间，其它13个字段...
2022年11月 功能名称 功能概述 发布时间 相关文档 版本升级 EMR-5.x系列：升级至EMR-5.9.1 EMR-3.x系列：升级至EMR-3.43.1 2022-11-08 EMR-5.9.x版本说明 EMR-3.43.x版本说明 管理日志 支持在EMR控制台直接查询开源组件的日志。2022-11-29 ...
Logstore cloudfirewall_log 仪表盘 云防火墙审计中心 堡垒机 操作命令日志 所有在售地域 V3.2版本及以上 Logstore bastion_log 仪表盘 无 对象存储 资源操作日志 数据操作日志 数据访问日志、计量日志 过期文件删除日志 CDN回流日志 华东1...
EMR Studio是E-MapReduce提供的开源大数据开发套件，包含Apache Zeppelin、Jupyter Notebook和Apache Airflow等开源组件。能够无缝关联EMR集群（EMR on ECS和EMR on ACK）的计算引擎提交任务，并提供了交互式开发、任务调度和任务监控等...
背景信息 Terraform是一种开源工具，用于安全高效地预览、配置和管理云基础架构和资源。Terraform的命令行接口（CLI）提供了一种简单机制，用于将配置文件部署到阿里云或其他任意支持的云上，并对其进行版本控制。目前 terraform-provider-...
查看执行详情 取消执行 删除执行 执行记录投递 执行记录投递功能可以将您在系统运维管理中创建的执行记录投递到对象存储OSS或日志服务SLS进行持久化存储，以便对执行记录进行查询、行为分析、安全分析、资源变更行为追踪和行为合规性审计等...
阿里云E-MapReduce（简称EMR）是云原生开源大数据平台，能够为用户提供简单易集成的开源大数据解决方案。EMR on ECS集群主要构建于ECS之上，集群资源归属于用户，EMR提供基于该资源的半托管云服务能力，用户对集群拥有完全的管理操作权限，...
工作空间是Serverless Spark的基本单元，用于管理任务、成员、角色和权限。所有的任务开发都需要在具体的工作空间内进行。因此，在开始任务开发之前，您需要先创建工作空间。本文将为您介绍如何在EMR Serverless Spark页面快速创建工作空间...
广泛用于日志收集和监控数据聚合等场景，支持离线或流式数据处理以及实时数据分析等。Flink、Kafka、YARN OLAP 数据分析场景，其中核心组件ClickHouse是一个面向联机分析处理（OLAP）的开源的面向列式存储的DBMS，与Hadoop和Spark相比，...
各种开源格式存储、计算、可视化系统完美兼容。下载与使用 下载地址：Github 一个应用可创建多个Producer，每个Producer可包含多个Client，每个Client可单独配置目的地址、日志级别、是否本地调试、缓存大小、自定义标识、topic等信息。...
您可以通过日志来了解...查询日志方式 控制台查询 登录 系统运维管理 管理控制台。在 任务 执行管理 页中，找到目标执行ID并单击 详情。单击 日志。重要 显示当前执行的所有日志，您可以通过点击左边的执行任务节点查看每个任务对应的日志。
EMR Workflow是一个全托管的工作流和任务调度服务，100%兼容开源Apache DolphinScheduler。它提供了易于使用的调度服务，您可以通过可视化的操作界面轻松地管理工作流和任务，高效构建数据仓库，并为生产任务的稳定运行提供保障。本文以...
阿里云开源大数据平台E-MapReduce（简称EMR）具有广泛的应用场景。本文为您介绍EMR的主要应用场景。数据湖场景 DataLake集群类型提供了数据湖分析场景所需的服务和相关湖格式，包括Hadoop、OSS-HDFS、Hive、Spark、Presto等。通过选择OSS-...
CloudLens for CLB 支持一键开启数据采集功能，用于采集CLB访问日志、配置审计日志和云监控事件。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建CLB实例。具体操作，请参见 创建实例。已为CLB实例配置7层监听，即配置HTTP...
在左侧导航栏，单击 日志管理>审计日志。设置审计日志的保留时长。说明 该设置会应用至当前地域下所有已开通审计日志的实例，审计日志按照存储容量及保留时长收费，日志保留时长支持的范围为1~365天。单击 费用估算并开通。在弹出的对话框...
产品架构 日志服务告警系统由告警监控、告警管理、通知（行动）管理等子系统组成，具体架构如下图所示：日志服务告警功能主要包含以下功能组件：日志存储（Logstore）：日志服务提供Logstore用于存储日志类型的数据，并在日志存储的基础上...
QRadar QRadar等安全信息与事件管理系统可以通过HTTPS协议或Syslog协议实时消费日志服务的数据。具体操作，请参见 通过HTTPS投递日志到SIEM 和 通过Syslog投递日志到SIEM。多语言应用 多语言应用（SLS消费协议）Java、Python、Go等语言的...
例如某电商公司拥有两个电商应用，部署在阿里云杭州地域的ECS集群上，并使用杭州地域的日志服务进行日志管理。应用A部署在阿里云账号A（12*456）下的ECS集群（Linux系统）上，并使用该账号下的日志服务进行日志管理。应用B部署在阿里云账号...
本文介绍如何在API网关控制台上开通日志管理功能，将API网关访问日志推送到日志服务中。前提条件 已创建Project和Logstore。具体操作，请参见 创建项目Project 和 创建Logstore。操作步骤 重要 如果您使用RAM用户开通日志管理功能，则需先...
功能说明 数据管理DMS的操作审计功能包含了操作日志与操作审计：功能 说明 内容项 操作日志 用户通过DMS系统发起所有操作的流水账式日志。包含纯管理、配置类的操作行为，也包含SQL窗口产生的SQL语句列表、工单列表、登录列表。操作审计 仅...
阿里云API网关联合日志服务推出日志管理功能，提供API访问日志的实时采集、查询、分析、加工、消费等一站式服务。本文介绍API网关日志管理功能相关的资产详情、费用说明以及使用限制。阿里云API网关提供API托管服务，在微服务聚合、前后端...
如果日志的时间与Logtail处理该日志的系统时间相差5分钟以上，即被认为是历史日志。Logtail默认只采集增量的日志，如果您需要采集历史日志文件，可使用Logtail自带的导入历史日志功能。具体操作，请参见 导入历史日志文件。修改Logtail配置...
操作日志指用户通过DMS系统发起所有操作的流水账式日志，包含纯管理、配置类的操作行为，也包含SQL窗口产生的SQL语句列表、工单列表、登录列表。本文介绍如何将DMS操作日志导入到日志服务进行查询分析等操作。前提条件 已开通日志服务。更...
告警管理系统接收到告警合并集合（包括恢复通知）后，将每个告警合并集合发送给通知（行动）管理系统，根据通知（行动）管理系统中的行动策略动态分派给特定通知渠道，再通知给目标用户、用户组或值班组。如何创建行动策略，请参见 创建...
本文介绍如何通过Loghub Log4j Appender或Logtail采集Log4j日志。...单击 查询日志，系统将跳转至Logstore查询分析页面。您需要等待1分钟左右，待索引生效后，才能在 原始日志 页签中，查看已采集到的日志。更多信息，请参见 查询和分析日志。
Web应用防火墙（WAF）日志服务帮助您采集并存储WAF防护对象（云产品实例、域名）的Web访问及攻击防护日志，并基于阿里云日志服务，输出查询分析、统计图表、报警服务、下游计算对接与投递等能力，帮助您专注于分析，远离琐碎的查询和整理...
阿里云日志服务联合数据管理DMS推出操作日志导出功能，将日志服务的部分功能融合到DMS操作日志中，实现日志实时查询、可视化分析、告警等功能。本文介绍DMS操作日志导出功能相关的资源说明、应用场景、费用说明及使用限制。支持的日志 数据...
Zabbix作为常用的开源监控系统，提供了丰富的告警规则用于系统监控。日志服务支持将Zabbix中的监控数据采集到Logstore中。本文介绍将Zabbix数据采集到日志服务的操作步骤。前提条件 已下载及安装Zabbix。具体操作，请参见 下载与安装Zabbix...
Logtail采集Kubernetes日志请参见 采集Kubernetes日志，采集标准容器日志请参见 采集标准Docker容器日志。Logtail在重启或停止期间，无法采集容器事件。应用场景 监控所有容器的启停事件，当核心容器停止后立即告警。采集所有容器事件，...
CloudLens for ALB支持一键开启数据采集功能，用于采集ALB访问日志。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建应用型负载均衡实例。具体操作，请参见 创建应用型负载均衡。已创建日志服务Project和Logstore。具体...
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集Beats和Logstash数据源。前提条件 已在服务器上安装Linux Logtail 0.16.9及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装...
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集脚本执行日志。前提条件 已在服务器上安装Linux Logtail 1.7.1及以上版本。具体操作，请参见 安装Logtail（Linux系统）。功能说明 Logtail通过配置的用户，调用配置的脚本命令，...
本文介绍如何通过日志服务控制台创建Logtail配置来采集Syslog。前提条件 已在服务器上安装Linux Logtail 0.16.13及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail（Windows系统）...
告警管理系统通过告警策略对所接收到的告警进行路由分派、抑制、去重、静默、合并等操作，然后发送给通知（行动）管理系统。告警管理系统还支持设置告警事务阶段和处理人。通知（行动）管理 告警子系统，负责管理告警的通知渠道和对象。...