当数据分别存储在日志服务的Logstore和RDS MySQL数据库中时，您可以使用日志服务的数据加工功能，通过RDS的内网地址访问RDS MySQL数据库以获取数据，进而实现数据富化。工作原理 使用日志服务数据加工功能，通过RDS内网地址访问RDS MySQL...
预览功能用于调试数据加工脚本，包括快速预览和高级预览。本文介绍两种预览方式。快速预览 快速预览支持免费、快速检验数据加工脚本语法正确性，验证加工语句的输出结果是否符合预期，并且支持自定义测试数据或者从Logstore中选取特定日志...
更新指定的数据加工任务配置并重启 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂无授权信息透出。请求语法 PUT/etls/{etlName} ...
数据脱敏可以有效地减少敏感数据在加工、传输、使用等环节中的暴露，降低敏感数据泄露的风险，保护用户权益。本文介绍日志服务数据加工过程中常见的脱敏场景、对应的脱敏方法及示例。背景信息 使用敏感数据包括手机号、银行卡号、邮箱、IP...
可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工方式不同，创建过程不同。描述说明如下：创建方式 ...
无兼容PAAS/SAAS产品，如ERP等；Replatform 新平台 利用托管的云服务替换线下自建应用基础设施，托管的云服务通常提供更好的弹性、稳定性和自治运维能力，可以让用户关注于应用而非基础设施管理。有进一步的技术/人力痛点，自建开发及维护...
本文档为您介绍数据加工规则错误的原因以及排查处理方法。读取源Logstore数据成功后，加工引擎开始对源Logstore的日志事件进行加工。该环节产生错误主要是由于在数据加工过程中，全部或者部分日志事件不适配加工规则，从而引发的逻辑错误。...
在SLS DSL加工逻辑中，日志中的所有值都以字符串的形式存储，需要根据场景对数据类型进行转换。日志中时间主要有以下三种数据类型，您可以根据本文提供的日期时间函数进行日期时间格式转换。字符串 例如2022/07/03 02-41-26。Unix时间戳 ...
函数示例 原始日志 content:test 加工规则 e_set("hello",lst_make("k1","k2"))加工结果 content:test hello:["k1","k2"]lst_insert 在列表特定位置插入元素。函数格式 lst_insert(list_string,location,value1,value2,.)参数说明 参数名称...
在加工语句中配置 deleted_flag_key 参数后，加工任务在获取数据库表更新的数据后，会将读取到的 delete_flag 为 true 的数据行从加工任务的内存维表中删除（不影响数据库表的内容）。在加工任务内存维表中被删除的数据行将不再参与后续与...
原始日志 content:{"name":"xiaoming","age":10} 加工规则 e_set("json_filter",json_select(v("content"),"name"))加工结果 content:{"name":"xiaoming","age":10} json_filter:xiaoming 示例2：从content字段提取元素name包含的所有值。...
某时间开始：指定数据加工任务的开始时间，从该时间点开始加工，直到加工任务被手动停止。特定时间范围：指定数据加工任务的起止时间，加工任务执行到指定时间后自动停止。关于创建数据加工任务涉及的各参数详细说明，请参见 创建数据加工...
本文档主要介绍数据加工功能的一些基本概念。基本概念 ETL ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。日志服务支持加载源Logstore数据，将数据转换后输出到目标Logstore，同时也...
可以选择表映射、SQL加工以及表单加工的方式对离线数据集进行定义。并通过预定义加工的方式，以便后续的离线标签创建。功能概述 您可根据业务需求创建所需的离线数据集。离线数据集的加工方式不同，创建过程不同。描述说明如下：创建方式 ...
否*1['','零食','加工食品']空字符串（预置）零食 加工食品 10 {"b":[null,"零食","加工食品"]}[null,"零食","加工食品"]是 是*2，否*1[null,"零食","加工食品"]空对象（预置）零食 加工食品 5 用户属性上报为空是否覆盖 若您上报用户A的...
您可以通过日志服务数据加工函数清洗您所采集的海量日志数据，实现数据格式标准化。本文介绍调用函数清洗数据的常见场景和相关操作。操作视频 本视频介绍通过数据加工处理特殊数据（Base64文本、URL类数据、IP地址数据等）的操作示例。场景...
日志服务支持采集各云产品的Java报错日志，通过数据加工解析Java错误日志。视频操作 前提条件 已采集各SLS、OSS、SLB、RDS的Java错误日志到cloud_product_error_log的Logstore。具体操作，请参见 Logtail采集日志。场景描述 某企业基于阿里...
本文介绍如何使用数据加工对包含JSON对象的日志进行解析与更新。视频操作 场景一：展开和提取JSON对象 日志中包含JSON对象时，您可以通过 e_json 函数展开和提取对象。示例1：展开一层JSON 例如，展开 data 字段值中的第一层键值对。原始...
函数示例 示例1 原始日志 test:asewds 加工规则 e_set("f1",str_decode(str_encode("你好","utf8"),"utf8"))加工结果 test:asewds f1:你好 示例2 原始日志 f2:test 测试数据 加工规则 e_set("f1",str_encode(v("f2"),"ascii",errors=...
函数示例 原始日志 ctx:{"k1":"v1","k2":"v2"} 加工规则 e_set("hello",dct_update(v("ctx"),{"k3":"v3"}))加工结果 ctx:{"k1":"v1","k2":"v2"} hello:{"k1":"v1","k2":"v2","k3":"v3"} dct_delete 删除字典键值对。函数格式 dct_delete...
快速预览可免费、快速检验数据加工脚本语法正确性，验证加工语句的输出结果是否符合预期。本文介绍快速预览的操作步骤及示例。前提条件 已采集数据。具体操作，请参见 数据采集。操作步骤 登录 日志服务控制台。进入数据加工页面。在...
本文档为您介绍加工引擎启动错误的原因以及排查处理方法。数据加工任务的第一个环节便是启动加工引擎。该环节产生错误主要是由于在启动加工引擎过程时，检测到您编写的SLS DSL规则存在错误，导致加工引擎内部的安全审核不通过。错误日志 在...
日志服务支持对每一个源Logstore配置一个加工任务，实现数据复制后分发到不同Logstore。本文介绍数据复制后分发到不同Logstore的典型场景和操作方法。场景说明 某数据分析公司需要将Logstore中的每一条数据进行复制，并根据内容分别分发到...
数据分发是指通过数据加工任务，将一份源日志按照预设的SPL规则处理后，写入一个或多个目标Logstore，支持跨账号、跨地域写入。本文介绍如何实现日志内容的静态分发，即将源日志分发到固定的目标地址。如需根据日志内容（如level、tenant_...
e_set("c1",json_select(v("json_data"),"c"))加工结果 a1:foo b1:bar c1:baz json_data:{"a":"foo","b":"bar","c":"baz"} 通过层级访问获取值 原始日志 json_data:{"a":{"b":{"c":{"d":"value"}}}} 加工语法#获取JSON表达式中d的值。...
ALIYUN:SLS:EtlV2类型用于创建新版数据加工任务。语法 {"Type":"ALIYUN:SLS:EtlV2","Properties":{"Configuration":Map,"DisplayName":String,"Name":String,"Project":String,"Description":String } } 属性 属性名称 类型 必须 允许更新 ...
本文将通过 会员下单商品 的行为关系数据来分析如何加工行为统计标签。行为关系 本场景中 会员下单商品 行为关系，描述的是行为主体 会员 通过 下单行为 与行为对象 商品 建立的关系。具体包含的属性如下（部分示例）：参数 实体-实体ID ...
数据加工（新版）支持通过高级参数配置来优化处理行为。注意事项 1.配置限制 参数名称不能包含空格和特殊字符。JSON格式的参数值必须是有效的JSON字符串。参数值大小有限制（通常不超过1KB）。2.生效时间 高级参数的修改需要重启数据加工...
已创建RAM用户，并授予RAM用户数据加工操作权限。具体操作，请参见 授予RAM用户数据加工操作权限。背景信息 跨账号场景下，使用RAM用户创建数据加工任务，角色A需要具有源Logstore的读数据权限，角色B需要具有目标Logstore的写权限。因为...
本文将通过 会员下单商品 的行为关系数据来分析如何加工行为统计标签。行为关系 本场景中 会员下单商品 行为关系，描述的是行为主体 会员 通过 下单行为 与行为对象 商品 建立的关系。具体包含的属性如下（部分示例）：参数 实体-实体ID ...
原始日志（三条日志）status:500 status:400 status:200 加工规则 e_dict_map({"400":"错误","200":"正常","*":"其他"},"status","message")加工结果 status:500 message:其他 status:400 message:错误 status:200 message:正常 更多参考 ...
列出 project 下的数据加工任务 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 Action ...
本文介绍数据加工服务读取源Logstore错误的原因以及排查处理方法。加工引擎启动成功后，开始读取源Logstore的数据。数据加工引擎对源Logstore采用流式读取，在加工过程中会持续不断的读取源Logstore中的数据。本环节产生错误主要是由于对源...
本文档为您介绍数据加工服务进行数据加工后，将加工结果写入目标Logstore产生错误的常见原因和排查处理方法。工作原理 日志事件被加工完之后，会被输出到预先配置好的目标Logstore中。LOG DSL引擎每次读取一个批次的源日志（从1条到近万条...
Dataphin标签支持通过事件预加工方式对事件进行预加工，将加工结果作为数据集指标。本文将指导您如何通过事件预加工方式创建和配置实时数据集。前提条件 创建实时数据集前需创建用于实时数据集开发的事件。更多信息，请参见 新增事件。创建...
数据加工主要解决您规整数据的痛点以及帮助您进一步挖掘数据的价值，降低时间与人力成本。合理配置可以节约一定的成本，本文档介绍如何以较优的成本方式使用数据加工功能。典型配置 根据 加工原理 和 性能指南，推荐您简化采集方案，使用...
阿里云系统角色AliyunLogETLRole具备读取源Logstore中的数据以及将数据加工结果写入目标Logstore的权限。您可以授予数据加工任务扮演AliyunLogETLRole角色来读取源Logstore中的数据以及将数据加工结果写入同账号下的目标Project。操作步骤 ...
背景信息 日志服务数据加工功能支持将加工结果分发到多个目标Logstore中。您可以在保存数据加工结果时，设置不同账号的AccessKey信息，将加工结果分发到不同账号的Logstore中；您也可以使用e_output函数、e_coutput函数动态获取目标Project...
如果加工规则中涉及其他Logstore资源的加载，则有可能会产生资源的加载或刷新错误。本文档主要介绍从其他Logstore获取数据的常见错误以及排查处理方法。在成功读取源Logstore数据后，加工引擎开始对源Logstore的日志事件进行加工。如果加工...
Dataphin标签基于离线计算引擎，支持通过SQL加工方式开发数据集指标，对来源物理表字段进行预加工后供离线标签使用。本文将指导您如何通过SQL加工创建离线数据集。前提条件 创建离线数据集前需先创建数据集所归属的标签项目。更多信息，请...