本文为您介绍如何基于GitHub实时事件数据通过MaxCompute构建离线数仓、通过Flink和Hologres构建实时数仓，然后通过Hologres和MaxCompute分别进行实时与离线数据分析，从而实现实时离线一体化解决方案。背景信息 随着社会数字化发展，企业对...
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
单击 在线数据库采集 或 下载采集器，采集源库数据。具体操作，请参见 数据库采集。数据库采集完成后，单击 下一步查看源库画像，单击 新建画像 上传采集的数据包进行数据库分析。具体操作，请参见 数据库画像。在 源库画像 页签，选中目标...
字段 类型 描述 id String 数据采集ID name String 数据采集名称 type String 数据采集端的类型-server-web-app注：目前只支持 server status Integer 状态-0 未开通-1 开通中-2 开通成功-3 开通失败 dataCollectionType String 数据采集的...
数据地图 API 标题 API概述 元数据采集器类型 元数据采集器类型 ListCrawlerTypes 获取数据地图元数据采集器类型列表 查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系...
DM（达梦）数据源 Milvus数据源 TiDB数据源 DRDS（PolarDB-X 1.0）数据源 MongoDB数据源 TSDB数据源 Elasticsearch数据源 MySQL数据源 Vertica数据源 FTP数据源 OpenSearch数据源 TOS数据源 GBase8a数据源 Oracle数据源 HBase数据源 Graph ...
描述 OpenSearch 应用的数据采集功能 示例 {"id":"286","name":"os_function_test_v1","type":"server","status":2,"dataCollectionType":"BEHAVIOR","industryName":"GENERAL","created":1581065837,"updated":1581065904,"sundialId":...
时间序列数据库产品系列是是广泛应用于物联网（IoT）设备监控系统，企业能源管理系统（EMS），生产安全监控系统，电力检测系统等行业场景的...解决由于设备采集点数量巨大，数据采集频率高，造成的存储成本高，写入和查询分析效率低的问题。
由系统自动运维元数据采集器，您无需额外管理元数据采集器。在数据地图中，通过全局 元数据检索 搜索目标MaxCompute表。重要 若在数据地图中，没有找到目标表，您可进入 我的数据 我的工具 刷新表元数据，手动同步相关表。查看表详情 在...
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
通过 Quick Tracking 使用数据采集服务的流程如下：配置数据采集渠道（App、小程序、Web）接口，并获取AccessKey，具体操作请参见下文。获取 Quick Tracking 的SDK，并使用上一步中获得的AccessKey进行数据采集程序的开发与部署。SDK和程序...
调用DescribeCollector，获取采集器实例的详细信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求头 该接口使用公共请求头，无特殊请求头。请参见...
在翻页或者加载的过程中，如果结果重复出现在第二页算一个新的曝光PV，结果不去重 如果开通数据采集功能并上传了曝光数据，则每次曝光记1否则，记每次返回的Item数 依赖开通数据采集功能，并且上传了用户曝光行为数据/也可不开通或上传，但...
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
操作流程 步骤一：准备工作 步骤二：配置并安装Filebeat采集器 步骤三：配置Logstash管道过滤并同步数据 步骤四：查看数据采集结果 步骤一：准备工作 创建阿里云Elasticsearch实例和Logstash实例，两者版本相同，并且在同一专有网络VPC...
Metadata Prometheus 支持仅主机抓取模式 修复 移除无效的 GPU Collector 条目 修复磁盘采集器未挂载磁盘数据 bug 修复进程采集器崩溃问题 修复切换输入类型时未暂停 FileServer 的问题 修复无法为软链接文件创建 reader 的问题 修复单个...
名称 类型 描述 示例值 object 元数据采集器类型 Type string 类型标识，当前支持的元数据采集器类型，取值有 maxcompute dlf hms（使用 HMS 管理元数据的 EMR 集群或 CDH_HIVE 集群）holo mysql oracle postgresql sqlserver analyticdb_...
问题数据采集最终将基于您的规则生成数据采集SQL，并在MaxCompute引擎侧执行，此过程将产生MaxCompute计算引擎费用。问题数据采集结果将存储于MaxCompute临时表中，此过程将产生MaxCompute计算引擎存储费用。保留问题数据配置入口 您可在按...
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...
查询指定代理集群的数据采集配置信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权信息，可以在RAM权限策略语句的 ...
新一代智能数据采集与分析工具，简单采集、轻松分析。在大数据与AI时代，丰富、准确的数据对于提升用户体验、促进业务增长至关重要。Quick Tracking 智能采集分析助手基于先进的大模型技术，智能理解页面信息并推荐埋点方案，生成埋点代码...
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Filebeat采集器。等待 采集器状态 变为 已生效1/1 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当...
数据采集层 数据采集层采用DataWorks数据集成 作为统一的数据入口，用于接入三类核心数据源：业务系统数据库（如商品中心、交易中心、品牌库）。埋点数据。日志数据。选型理由：支持多种异构数据源，高兼容性与扩展性。提供可视化调度能力...
查询数据地图支持的元数据采集器类型列表，其中包含元数据采集器类型，及给定类型支持的子类型和子类型之间的层级关系信息。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去...
分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 警惕日志采集失败的6大经典雷区 主机场景下如何使用...
V3.3.41中，自动化营销支持通过 阿里云Quick Tracking 数据采集获取实时行为事件，智能实验室的品牌高潜预测、商品匹配推荐分别成为独立模块并更名为复购预测、货品推荐，此外，还对功能、交互进行了多项优化升级。发布时间 2021年12月16日...
CloudLens for ALB支持一键开启数据采集功能，用于采集ALB访问日志。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建应用型负载均衡实例。具体操作，请参见 创建应用型负载均衡。已创建日志服务Project和Logstore。具体...
通过采集器YML配置，您可以根据需求修改对应的配置，并启用该配置，完成数据采集任务。本文介绍采集器YML文件的配置方法和配置参数详情。前提条件 创建阿里云Elasticsearch实例，并开启实例的 自动创建索引 功能。创建实例的具体步骤请参见...
1 打开埋点验证 打开产品首页，点击顶部导航“数据采集”进入数据采集模块，点击顶部导航“埋点验证”在埋点验证模块内，选择“服务端验证”2 生成DebugKey 3 将DebugKey设置在代码中 将第2步生成的DebugKey配置在上报的日志中，注意代码...
方案设计 传感器数据采集上云解决方案如下图所示。数据链路为：测温器将物理信号转换成数字信息，组装成结构化数据，通过无线网络传输，采用MQTT协议接入阿里云物联网平台。物联网平台的规则引擎模块对原始数据进行过滤、富化、转换，实时...
CloudLens for PolarDB支持一键开启数据采集功能，用于采集PolarDB MySQL集群的审计日志、慢查询日志、错误日志和性能指标。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建PolarDB MySQL集群。具体操作，请参见 购买按量...
CloudLens for EBS 支持手动或自动化开启数据采集功能。手动开启采集功能针对单个或当前所有的云盘，自动化开启采集功能支持设置采集条件，并自动采集符合条件的云盘（包括未来创建的）的秒级监控数据。本文介绍开启数据采集功能的操作步骤...
当您为Logstore关联了数据写入处理器后，可以通过处理器对日志数据进行处理。例如将某网站的访问日志（单行文本）采集到Logstore，您可以创建一个写入处理器，解析原始日志，提取出有效的日志字段，进行查询和分析。操作视频 前提条件 已有...
CloudLens for CLB 支持一键开启数据采集功能，用于采集CLB访问日志、配置审计日志和云监控事件。本文介绍开启数据采集功能的操作步骤及相关操作。前提条件 已创建CLB实例。具体操作，请参见 创建实例。已为CLB实例配置7层监听，即配置HTTP...
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
版本 发布时间 发布说明 v2.0.2 2025年12月09日 修复 Flutter 数据采集已知问题，接入 Flutter 的推荐版本。v2.0.1 2025年12月05日 支持 Flutter 能力，需要结合 Flutter Plugin 共同使用，详情见 接入Flutter应用。丰富 Action 采集能力，...
本文档介绍配置资产数据的方法，以及资产数据面板的内容，包括数据接口、数据源、数据过滤器和数据轮询频次等。操作步骤 登录 DataV控制台。在 我的可视化 页面，单击您创建的可视化应用项目上方的 编辑 按钮。在画布编辑器页面，单击 图层...
版本 发布时间 发布说明 v2.0.2 2025年12月09日 修复 Flutter 数据采集已知问题，接入 Flutter 的推荐版本。v2.0.1 2025年12月05日 支持 Flutter 能力，需要结合 Flutter Plugin 共同使用，详情见 接入Flutter应用。丰富 Action 采集能力，...
在数据采集方面，日志服务支持客户端、网页、协议、SDK、API等50多种采集方式，支持断点续传以保证数据采集可靠性，根据不同业务环境支持内网+VPC、公网+全球加速等多种传输方式。日志服务帮助《原神》高效可靠地采集来自不同区域服务日志...