PipelineId，管道ID：请使用标准管道、倍速转码类型的管道ID。TemplateId，转码模板ID：请使用窄带高清™1.0的定制模板或预置窄带高清模板。其他参数请参见 SubmitJobs-提交转码作业 接口说明。接收回调消息。完成转码作业后，如果配置了...
为了提升安全性，如果在配置管道时使用了JDBC驱动，需要在 jdbc_connection_string 参数后面添加 allowLoadLocalInfile=false&autoDeserialize=false，否则当您在添加Logstash配置文件时，调度系统会抛出校验失败的提示，例如 jdbc_...
当您需要将Azure Event Hubs事件中心中的数据同步到阿里云Elasticsearch中时，可使用阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。操作流程 步骤一：准备环境与实例 步骤二：创建并配置Logstash管道 步骤三：验证结果 步骤...
如果您需要将RDS MySQL中的数据同步到阿里云Elasticsearch中，可使用阿里云Logstash的logstash-input-jdbc插件（默认已安装，不可卸载），通过管道配置将全量或增量数据实时同步至阿里云Elasticsearch中。本文介绍具体的实现方法。背景信息...
但是您可以通过使用不同的mutate块来控制这个顺序，例如以上管道配置中使用了三个mutate块来控制执行顺序：rename、merge、remove_field。更多管道配置说明，请参见 通过配置文件管理管道 和 Logstash配置文件说明。警告 配置完成后，需要...
将腾讯云Elasticsearch（以下简称ES）数据迁移到阿里云ES，除了可以使用ES快照机制实现数据搬迁外，也可以通过阿里云Logstash实现，本文介绍如何通过阿里云Logstash将索引数据从腾讯云ES迁移至阿里云ES中。场景说明 本文的 操作流程 同样...
（可选）步骤三、绑定管道 如果您需要使用普通管道进行单任务操作并接收消息通知，则需要为您为主题通知或队列绑定管道，在创建单任务时选择绑定了主题通知（队列）的管道即可正常接收消息。说明 如果您使用工作流，则无需绑定管道。媒体...
在某些业务的使用场景下，您可能需要对索引的一些字段进行重命名。例如，使用DataWorks在阿里云Elasticsearch集群间迁移数据时，由于源集群数据中包含了特殊符号（例如@），而DataWorks不支持特殊符号，因此需要修改字段名（去掉特殊符号）...
通过Logstash将RDS MySQL数据同步至Elasticsearch 通过Logstash同步日志数据的文档：logstash-input-sls插件使用说明 使用Filebeat+Kafka+Logstash+Elasticsearch构建日志分析系统 常见问题 管道创建后，进程卡住了，实例变更进度不变，...
在使用Logstash传输数据时，在某些业务使用场景中，您可能需要切分源端数据并提取到字段中再写入目标端Elasticsearch集群。例如，源端Logs日志中存在以竖线（|）分隔的数据，此时您可以通过Logstash按照|切分数据并提取到字段中，再输出到...
最小TLS版本：配置当前域名允许TLS通信时所选择的最小版本，默认为1.0。最大TLS版本：配置当前域名允许TLS通信时所选择的最大版本，默认为1.3。结果验证 当前域名的路径下已配置可访问的路由，请参见 新建路由规则。如果您的域名公网解析已...
本文使用的管道配置如下。input { elasticsearch { hosts=>["http://es-cn-0pp1f1y5g000h*.elasticsearch.aliyuncs.com:9200"]user=>"elastic"index=>"*"password=>"your_password"docinfo=>true } } filter { } output { elasticsearch { ...
使用自定义Topic通信，需要先定义产品Topic类，具体步骤请参见 使用自定义Topic通信。Topic的概念，请参见 什么是Topic。设备接入物联网平台 将设备接入物联网平台。重要 使用 设备模拟器、C语言Link SDK 3.1、3.2、4.x版本以及Python语言...
本文以使用手机App控制智能灯为例，介绍基于物联网平台的消息转发中数据流转功能，构建一个M2M设备间通信架构的完整流程。背景信息 使用手机App控制智能灯的流程：创建产品和设备 在 物联网平台控制台 的对应实例下，为手机App注册产品和...
使用倍速管道，将视频源切分为多个较小的片段后并行转码，可将转码速度提升5~30倍，显著缩短处理耗时。适用于对首发、时效性要求较高的资讯、赛事、重要内容场景。本文为您介绍倍速转码原理及使用方式。背景信息 媒体处理提供离线转码服务...
本文介绍如何使用Java语言的Paho MQTT库，接入阿里云物联网平台，并进行物模型消息通信。前提条件 已在物联网平台中，创建了产品和设备，并在产品的 功能定义 页签下，定义一个LightSwitch属性。请参见 创建产品、单个创建设备 和 单个添加...
开发语言 Link SDK使用示例 C Link SDK Extended 物模型开发 C（v4.x）物模型使用 C（v3.x）物模型编程 Android 物模型开发 Java 物模型开发 Python 物模型通信 Node.js 物模型开发 iOS 不支持 物模型通信流程 重要 下述设备与物联网平台...
注意事项 出于安全性考虑，在使用MySQL协议连接宽表引擎时，默认使用SSL通信加密。如果您的应用与Lindorm实例部署在同一个专有网络VPC下，您可以按照MySQL客户端的使用方式启用明文通信以获得更好的性能。例如，使用8.x版本的MySQL JDBC时...
当您需要将自建Elasticsearch中的数据迁移到阿里云Elasticsearch中时，可以通过阿里云Logstash的管道配置功能实现。本文介绍具体的实现方法。使用限制 自建Elasticsearch集群所在的ECS的网络类型必须是专有网络，不支持Classiclink方式打通...
同步通信模式 大多数嵌入式平台移植C Link SDK使用同步底层通信模型，能够支持C Link SDK以轮询方式主动收取网络报文。例如嵌入式Linux、Windows系统，以及大部分配备LwIP协议栈通信的RTOS（FreeRTOS系统）等，都支持上层应用主动收取网络...
使用安全隧道访问设备 安全隧道通信协议 使用安全隧道 先通过云端API或物联网平台控制台创建安全隧道，获取安全隧道的访问端建连信息。同时，设备收到安全隧道建连通知并建立安全隧道连接。然后配置访问端的建连信息，使访问端连接到物联网...
使用限制 数据源支持的Topic类型消息，请参见 数据格式、消息通信说明、消息转发说明、消息转发说明、SL 651协议消息示例。每个数据源中最多添加1,000个消息Topic。解析脚本中处理数据源时支持的函数说明，请参见 函数列表。脚本中可使用...
智能审核任务需要使用的智能审核管道，请在后续节点中设置。如果 转码管道 下拉列表中没有管道名称，请先开启管道。具体操作，请参见 创建管道。（可选）消息通知 单击 开关按钮，选择消息队列或消息主题，在下拉列表中选择一个队列通知或...
详细信息，请参见 使用Logstash管道配置调试功能。调试日志默认关闭，您需要通过以下方式开启：安装logstash-output-file_extend插件，具体操作请参见 安装或卸载插件。在管道配置的output中配置 file_extend 参数，具体操作请参见 通过...
阿里云Logstash在使用及调优方面和开源版Logstash无差异，Logstash管道处理分为三个阶段：input、filter和output。Logstash管道每个阶段都运行在自己的线程中，input阶段将事件写入到内存（默认）或磁盘的中央队列，每个管道工作线程从此...
使用自定义Topic通信的消息说明，请参见 使用自定义Topic通信。配置消息转发订阅设备上报的自定义Topic消息。配置AMQP服务端订阅：在物联网平台配置 推送消息类型 为 设备上报消息。配置数据转发到AMQP服务端订阅消费组：在消息解析器中...
详细操作请参见 提交转码作业，创建过程中必须按照以下步骤设置转码相关信息：PipelineId，管道ID：请使用标准管道类型的管道ID。TemplateId，转码模板ID：根据您的实际转码需要选择转码模板，如系统预置模板不能满足您的转码需求，您可以...
背景信息 设备端的Link Kit SDK中已内置本地通信功能（ALCS），这样集成Link Kit SDK的设备，即可使用本地通信能力。集成了ALCS client功能的android app、IOS app、边缘网关等终端都可以通过本地控制与芯片模组产品交互。第一次连接和认证...
步骤二：配置Logstash管道 配置Logstash管道的input为Kafka，output为阿里云Elasticsearch，使用Logstash消费Topic中的数据并传输到阿里云Elasticsearch中。步骤三：查看日志消费状态 在消息队列Kafka中查看日志数据的消费的状态，验证日志...
MQTT协议云网关设备：采用标准的MQTT协议规范的UserName作为身份信息进行认证，支持使用自定义证书、自定义设备认证方式、自定义通信Topic能力、设备端和服务端证书OCSP能力、设备和服务端双向安全认证等能力。设备身份信息说明 设备 说明 ...
如果物模型功能不能满足您的业务需求，可以使用自定义Topic实现设备上下行通信。设备自定义Topic需您在物联网平台从产品维度进行添加和管理，产品的自定义Topic类会自动映射为该产品下所有设备的自定义Topic。物联网平台对自定义Topic通信...
LoRa设备：连网方式为LoRaWAN，基于LoRa通信的设备，例如智慧博物馆场景中，借助环境传感器设备，使用LoRa通信技术，监控藏品所在环境的温度、湿度、PM2.5等指标。云网关设备：物联网平台支持通过云网关接入开源的MQTT协议、JT/T 808协议和...
具体操作，请参见 使用Logstash管道配置调试功能。完成后，刷新实例，观察变更进度。中断变更，等到实例处于变更中断状态后，在管道配置中，去掉file_extend配置，触发重启恢复。Logstash私网地址是否能ping通？Logstash私网地址默认禁止...
如果您在Alibaba Cloud Linux 3系统中启用了共享内存通信SMC（Shared Memory Communication），且使用过程中遇到无法正常通信、部分端口不可用、对比TCP没有应用性能提升等问题，可以参考本文提供的方案进行排查并解决。启用SMC后应用性能...
设备可使用物联网平台提供的Python Link SDK通过MQTT协议Topic与物联网平台进行通信。本文介绍设备如何直接基于MQTT Topic向物联网平台发送消息，以及接收物联网平台云端下发的消息。背景信息 Topic是设备与物联网平台之间通信的管道，设备...
物联网平台支持使用串口通信的设备，在不改变原有的串口传输协议的情况下，通过DTU接入物联网平台。案例场景 在工业、农业、医疗、城市、楼宇、园区等多种场景中，存在着大量的通过串口与外界通信的设备。对此类设备进行物联网改造时，往往...
问题描述 用户使用Dataphin管道任务报错“您尝试读取的列越界,源文件该行有[62]列,您尝试读取第[63]列”问题原因 数据分隔符和字段里面的特殊符号一致，导致字段被拆分。解决方案 修改字段分隔符，或者修改字段里面的特殊符号。适用于 ...
产品定位 云消息队列 RocketMQ 版 是一款典型的分布式架构下的中间件产品，使用异步通信方式和发布订阅的消息传输模型。通信方式和传输模型的具体说明，请参见下文 通信方式介绍 和 消息传输模型介绍。云消息队列 RocketMQ 版 产品具备异步...
本文为您介绍如何创建一个阿里云Logstash实例，并通过Logstash的管道配置，完成阿里云Elasticsearch实例间的数据同步。背景信息 在开始本文操作前，请先了解以下背景信息：什么是阿里云Elasticsearch 什么是阿里云Logstash 前提条件 注册...
您可使用模拟数据，测试物联网平台与设备端之间的通信功能，并定位问题。本文介绍设备模拟接入物联网平台并进行通信的具体操作。功能说明 通过设备模拟器，可调试设备通信功能。具体功能如下：功能项 说明 上行指令调试 设备上报消息到物...