在EMR集群中，利用Hive和Spark对原始数据进行清洗和加工，提取业务所需的指标，例如日活跃用户、用户留存、某SKU的新增订单等。白天可以通过弹性伸缩机制，只保留部分节点。同时，可以启动一个包含Trino或Presto的环境，以满足白天数据分析...
资源包内容明细包含资源名称、修改人、时间等，该明细是实时解析的，需尽快下载。说明 支持探索空间的作品。单击 确定。资源包导出完成后会以压缩包形式下载到本地。导入资源包 在 资源包管理 页面的 导入记录 页签，单击 导入资源包。在...
配置区间检测任务之后，ARMS会在后台以每24h一次的频率，学习指标历史7天数据的特征，提取指标趋势性、季节性等特征，得到指标未来24h的预测曲线。再根据指标自身的波动情况，也就是误差方差的大小，为未来一天指标的数据做出一个估计区间...
实时机器学习：在机器学习场景中，通常需要花费大量的时间用于处理数据，例如数据清洗、转换、提取特征等等。同时，您还需要对历史和实时数据分别处理。而Delta简化了工作流程，整条数据处理过程是一条完整的、可靠的实时流，其数据的清洗...
背景信息 Hologres是阿里巴巴自研一站式实时数仓产品，不仅支持海量数据多维分析（OLAP）、高并发低延迟的在线数据服务（Serving），还与达摩院自研高性能向量计算软件库Proxima深度整合，支持高性能、低延时、简单易用的向量计算能力。...
展开子节点 查看实时任务 进入生成当前实例节点的任务节点DAG图，查看任务节点详情、上下游节点信息及对任务节点进行运维管理等，更多信息，请参见 查看并管理实时任务。查看节点代码 查看生成当前实例的任务代码。在Flink计算引擎下您可...
展开子节点 查看实时任务 进入生成当前实例节点的任务节点DAG图，查看任务节点详情、上下游节点信息及对任务节点进行运维管理等，更多信息，请参见 查看并管理实时任务。查看节点代码 查看生成当前实例的任务代码。查看运行日志 可查看实例...
KV模式提取 e_kv 通过quote提取多个源字段中的键值对信息。支持和其他函数组合使用。相关示例，请参见 提取字符串动态键值对。e_kv_delimit 通过分隔符提取源字段中的键值对信息。Syslog标准提取 e_syslogrfc 根据Syslog协议由已知priority...
当您需要在DMS导出的文件上添加水印，或提取外部文件中的水印信息时，您可参考本文档的水印嵌入和水印提取的操作步骤。前提条件 实例已开通敏感数据保护功能。详细信息，请参见 开通敏感数据保护。使用场景 用于数据的散布或分发过程中追溯...
在CloudDBA中可以实时查看 云原生内存数据库Tair 实例的性能，包括CPU使用率、内存使用信息、QPS（每秒访问次数）、网络流量、Server信息、Key信息、Client信息、连接信息等。操作步骤 访问 Tair实例列表，在上方选择地域，然后单击目标...
在CloudDBA中可以实时查看Redis实例的性能，包括CPU使用率、内存使用信息、QPS（每秒访问次数）、网络流量、Server信息、Key信息、Client信息、连接信息等。操作步骤 访问 Redis实例列表，在上方选择地域，然后单击目标实例ID。在左侧导航...
实时计算Flink版完全兼容开源Apache Flink API，从访问控制、网络、存储、备份恢复、操作审计等方面，提供全面的安全加固功能来保障您的数据安全。租户隔离 支持多租户的使用场景，通过阿里云账号认证体系（认证方式采用AccessKey对称密钥...
背景信息 您可以在 实时计算开发控制台，通过火焰图、内存动态与线程动态，查看运行中作业的Job Manager和运行Task Managers的性能，详情请参见下表。类别 详情 火焰图 CPU耗时：通常顶层占据宽度比较大的函数消耗的CPU比较多，表示该类...
扩展插件 功能 说明 提取字段 使用正则模式提取字段。更多信息，请参见 正则模式。使用标定模式提取字段。更多信息，请参见 标定模式。使用CSV模式提取字段。更多信息，请参见 CSV模式。使用单字符分隔符模式提取字段。更多信息，请参见 单...
调用GetDigitalWatermarkExtractResult查询数字水印提取任务结果。接口说明 当前仅支持查询近 2 年内任务 调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。...
背景信息 Hologres与Flink、MaxCompute、DataWorks深度兼容，能够提供实时离线一体化联合解决方案。在该方案下有着非常丰富的应用场景，例如实时大屏、实时风控、精细化运营等。不同的应用场景对处理的数据量、数据复杂度、数据来源、数据...
说明 当您刷新或重新进入 实时性能 页面，展示的实时图表和mongostat输出信息将重新记录，且会重置右上角的 剩余刷新次数。实时图表 实时图表每5秒刷新一次并输出折线图，方便您查看系统性能的变化趋势。说明 您也可以单击目标性能图表上方...
窗口函数概述 支持的内置函数 自定义函数 元数据（Catalog）数据处理最关键的方面之一是管理元数据，实时计算Flink版的元数据提供了元数据信息，例如数据库、表、字段、分区以及数据库或其他外部系统中存储的信息。管理元数据 角色（Role）...
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
通过Flink的全增量自动切换、元信息自动发现、表结构变更自动同步和整库同步等功能，简化了数据实时入仓的链路，使得实时数据同步更加高效便捷。本文介绍如何快速构建一个从MySQL到Hologres的数据同步作业。操作原理与Demo演示 Flink CDC...
Flink全托管的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储（放置日志、系统检查点等信息），CU对应实时计算底层系统的CPU计算能力。1个实时计算作业（Job）的CU使用量取决于此Job输入数据流的QPS...
本文为您介绍如何使用SPLIT_INDEX函数，将目标字符串按照指定分隔符分割成若干段，返回指定位置的字段信息。使用限制 仅实时计算引擎VVR 3.0.0及以上版本支持SPLIT_INDEX函数。语法 VARCHAR SPLIT_INDEX(VARCHAR str,VARCHAR sep,INT index...
使用Flink+Hologres搭建实时数仓可以充分利用Flink强大的实时处理能力和Hologres提供的Binlog、行列共存和资源强隔离等能力，实现高效、可扩展的实时数据处理和分析，帮助您更好地应对不断增长的数据量和实时业务需求。本文介绍如何通过...
资源估算 Flink工作空间的基本计量单位为Compute Unit（CU），即计算资源，1 CU=1核CPU+4 GiB内存+20 GB本地存储（放置日志、系统检查点等信息），CU对应实时计算底层系统的CPU计算能力。1个实时计算作业（Job）的CU使用量取决于此Job输入...
网络日志提取费 VPC按照提取的日志收取网络日志提取费。更多信息，请参见 流日志计费说明。日志服务的服务费 当涉及的Logstore的计费模式为按使用功能计费时，日志服务采集到VPC流日志后，根据存储空间、读取流量、请求数量、数据加工、...
背景信息 Kerberos是一种计算机网络授权协议，用来进行身份认证，以保证通信的安全性。如果您的Flink作业要访问的Hive支持了Kerberos，则需要您先在Flink全托管控制台上注册Hive Kerberos集群，然后在Flink作业中配置Kerberos集群信息，...
情感分析 词性标注 中心词提取 智能文本分类 文本信息抽取 商品评价解析 迁移指引 NLP基础服务2.0的基础版中已完整包含 分词、命名实体识别、情感分析、词性标注、中心词提取、智能文本分类 算法服务，且定价低于1.0（1.0：0.0027元/次，2....
无 不支持捕获流日志信息的ECS实例规格族 开启VPC或交换机的流日志捕获时，VPC或交换机内属于以下ECS实例规格族的实例不支持捕获流日志信息，其他满足要求的ECS实例可以正常捕获流日志信息。如果弹性网卡绑定的ECS实例属于以下ECS实例规格...
背景信息 Hologres是阿里云的实时交互式分析产品，通过内置的实时数据API（详情请参见 实时数据API）直接对接实时计算，实现高并发实时写入或查询实时数据，速度达到秒级。Hologres兼容PostgreSQL，将查询到的数据直接对接BI分析工具，使用...
背景信息 Kafka 是一款高吞吐量、高可扩展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景。Hologres与大数据生态无缝打通，您可以通过DataWorks数据集成、Flink以及Hologres Connector等...
单击 测试 验证解析规则能否解析路由参数，显示结果即为提取成功，否则提示错误信息。单击 确定。配置精准规则 在 添加路由标解析规则 面板，选择 路由规则 为 精准。设置 路由标解析规则。在 测试路由标解析 文本框中输入测试内容，并单击...
单击 测试 验证解析规则能否解析路由参数，显示结果即为提取成功，否则提示错误信息。单击 确定。配置自定义规则 在 添加路由标解析规则 面板，选择 路由规则 为 自定义。在路由标解析规则区域输入解析规则，然后单击 解析。在 测试路由标...
类别 服务 计费方式 说明 ASR 实时记录 按会议时长，叠加多路同时说话时长计费 可以自助开通后付费 音视频文件记录 按时长计费 大模型 大模型摘要 按时长计费 包含发言人总结 \ 问答对提取 \ 待办事项 \ 全文摘要 \ 关键词 \ 原文改写 \ ...
本文为您介绍DataV如何连接实时数仓Hologres。背景信息 DataV是数据可视化分析BI产品，支持使用拖拽的方式在图形化编辑界面配置样式和数据，搭建数据可视化应用，满足多种业务的展示需求。Hologres独立数据源与DataV深度合作，您可以将...
本文为您介绍DataV-Card如何连接实时数仓Hologres。背景信息 DataV-Card可视分析创作间是一款面向高频数据处理的业务人员、零代码的数据可视分析产品，提供简单、直观、易于使用的数据准备、洞察发现、可视化分析工具，通过具象、生动、...
使用ChatOps打破信息孤岛 ChatOps能够解决告警处理时信息孤岛问题是因为它将所有关键信息和协作工具集成到一个平台中，使得运维人员可以通过聊天获取所有的信息和上下文，同时在同一个聊天平台上与其他人实时协作和沟通。这种方式可以将...
主机监控 仪表盘 说明 资源总览 用于实时可视化展示主机配置信息和指标信息的总体情况，包括CPU核数、磁盘总空间、CPU平均使用率、内存平均使用率等。主机列表 用于实时可视化展示每台主机的配置信息和指标信息，包括CPU核数、内存、CPU...
env：Span环境信息，从 resource.deployment.environment 字段中提取。version：Span版本，从 resource.service.version 字段中提取。db：Database调用信息。如果为空，则不是Database调用。version String 指标类型，目前固定为metric_...
Logtail正则解析插件支持通过正则表达式提取日志字段，并将日志解析为键值对形式。功能入口 当您需要使用Logtail插件处理日志时，您可以在创建或修改Logtail配置时，添加插件。具体操作，请参见 概述。配置说明 参数名称 说明 原始字段 ...
实时计算Flink版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于Apache Flink构建的企业级高性能的实时大数据处理系统。Hologres与Flink深度连通，支持实时写入Flink的数据，可以实时查询写入的...