info（可选）弹窗内容，如果为空，则弹窗信息显示为对应的矢量线数据中的 properties 字段的内容。如果不为空，弹窗信息显示为 info 字段的内容。color（可选）线热力层支持数据优先的渲染，如果您配置了 color（线颜色）、weight（线宽）...
仅面向已付费客户开放，不在面向新客户售卖 媒体回流支持将广告监测（含趣媒体投放监测）、腾讯广告Feedback、通过 媒体投放 功能投放的广告的曝光点击等数据 进行回流，并提供多维度的报表分析，评估广告投放效果；回流的广告受众标签数据...
运营主要面向租户资产管理员，为用户提供数据资产编目、数据资产上线、数据资产下线等能力。通过获取资产元数据信息，并同步到数据资产目录完成数据资产注册。数据资产管理涉及三种用户角色，包括资产使用方、租户资产管理员、工作组管理员...
数据资产编目，数据管理者对平台数据资产进行梳理，确定其共享属性，并按照技术标准，进行数据类目定义。数据资产上线，将已经注册管理的高质量数据资产资源发布，供数据使用者查询和使用。数据资产申请，数据使用者向数据管理方提出使用...
开源大数据开发平台E-MapReduce（简称EMR）是运行在阿里云平台上的一种大数据处理系统解决方案。EMR基于开源的Apache Hadoop和Apache Spark，让您可以方便地使用Hadoop和Spark生态系统中的其他周边系统分析和处理数据。EMR还可以与阿里云...
事件 事件 说明 当飞线请求完成时 飞线数据接口请求返回并经过过滤器处理后抛出的事件，同时抛出处理后的JSON格式的数据。具体数据示例请参见画布编辑器中组件右侧配置面板 数据源 页签的 数据响应结果 区域。动作 动作 说明 请求飞线 重新...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
Dataphin支持自定义离线数据源，以满足不同业务场景数据同步的需求。前提条件 对于RDBMS数据库，已获取数据库驱动文件。对于其他类型数据库，获取数据源连接配置项的JSON代码和读/写插件。背景信息 RDBMS数据库即关系型数据库，如MySQL、...
目前阿里云开源大数据平台E-MapReduce常见的计算引擎（例如Flink、Spark、Hive或Trino）都与Paimon有着较为完善的集成度。您可以借助Apache Paimon快速地在HDFS或者云端OSS上构建自己的数据湖存储服务，并接入上述计算引擎实现数据湖的分析...
实时物化视图 差异 数据湖 Spark离线处理 查询性能的智能诊断与调优 RAG应用 时空分析 应用场景 共同点 实时数仓 实时日志分析 商业智能报表 差异 精准营销 多源联合分析 大数据存储分析 离线数据加速 其它数据湖或数据仓库业务迁移...
准备示例数据表 本实践需准备一个MongoDB数据集合、一个MaxCompute表，用于后续进行离线数据同步。准备MaxCompute表并构造表数据。创建一个名称为 test_write_mongo 的分区表，分区字段为 pt。CREATE TABLE IF NOT EXISTS test_write_mongo...
数据集成提供离线批处理同步、实时数据同步和整库迁移方案，可用于T+1离线数据ETL、秒级实时数据复制和整库迁移等场景。同步方案说明 同步类型 源粒度 目标粒度 时效性 同步场景 单表离线 单张表 单张表/分区 T+1 或周期性 周期性全量、...
本案例以简单的网站用户画像分析为例，带您熟悉DataWorks的主要功能和常见任务，主要包含同步数据、加工数据、管理数据以及消费数据操作。案例目标 案例 预期 通过本案例的实操，您将能够在DataWorks中独立完成数据同步、数据开发和任务运...
前提条件 已上线离线数据同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 资产加工。在左侧导航栏，单击 图标...
新增离线数据同步任务后，需对任务进行上线操作，同步任务上线后会按照创建同步任务中设置的调度周期执行。本文介绍如何上线离线数据同步任务。前提条件 已新增离线数据同步任务，具体操作，请参见 新增离线数据同步任务、批量新增离线数据...
新榜基于微信、抖音、小红书、快手等主流内容平台，提供完善的数据工具，为用户带来实时热门素材、品牌声量、直播电商等全面的数据监测分析能力，同时提供基于多平台新媒体数据的企业级数据服务。业务要求与挑战 新榜原方案采用...
离线数据T+1更新其血缘关系。各数据源使用限制 E-MapReduce DataLake或自定义集群若要在DataWorks管理元数据，需先在集群侧配置EMR-HOOK。若未配置，则在DataWorks中无法展示血缘关系。配置EMR-HOOK，详情请参见 配置Hive的EMR-HOOK。EMR ...
该产品为企业提供了一站式的数据平台服务，包括任务开发、调试、调度及运维等功能，显著简化了数据处理与模型训练的全流程。同时，它100%兼容开源Spark生态，能够无缝集成到客户现有的数据平台。通过使用EMR Serverless Spark，企业可以...
开源组件 集成Apache社区开源大数据组件，涵盖数据集成、数据存储、资源管理、计算引擎、数据开发、数据服务等多个领域，方便快速搭建高效可靠的数据处理和管理平台。自研组件 为了让开源大数据组件和服务更好地运行在阿里云基础设施上，...
准备示例数据表 本实践需准备一个MongoDB数据集合、一个MaxCompute表，用于后续进行离线数据同步。准备MongoDB数据集合。本实践使用阿里云云数据库MongoDB作为示例。以下为准备MongoDB数据集合的主要代码示例。创建一个名称为 di_mongodb_...
功能简介 ESA 网页监测功能通过采集PC端和移动端真实用户访问网站的数据，帮助您更好的了解网站的性能状况。ESA 网页监测采集的客户端网络数据如下：CLS：衡量页面的视觉稳定性，避免内容在加载过程中发生意外偏移。FCP：记录页面首次渲染...
DataWorks安全中心围绕数据全生命周期，构建“身份认证、授权、访问控制、审计、资产保护”五大核心治理板块，实现从权限策略到风险闭环的精细化、智能化安全管控，构建纵深防御体系：多维度数据隔离：在租户、工作空间纵向维度精准隔离...
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
随着业务的快速发展，企业数据呈几何倍增长，数据量庞大、复杂、各类数据间标准不一致，往往会出现数据难以管理的现象。DataWorks智能数据建模服务，将无序、杂乱、繁琐、庞大且难以管理的数据，进行结构化有序的管理。使企业中的数据产生...
配置用户日志同步至OSS 通过离线数据集成任务，实现从平台的HttpFile数据源内的获取用户日志信息，同步至私有OSS数据源中。同步HttpFile数据源的日志信息至自建的OSS。在 数据开发 页面，双击 ods_raw_log_d_2oss_spark 节点，进入节点配置...
配置用户日志同步至OSS 通过离线数据集成任务，实现从平台的HttpFile数据源内的获取用户日志信息，同步至私有OSS数据源中。同步HttpFile数据源的日志信息至自建的OSS。在 数据开发 页面，双击 ods_raw_log_d_2oss_spark 节点，进入节点配置...
离线同步实例是由离线数据同步时发起的任务实例，运维监控支持查看离线同步任务实例的详情，包括实例属性、运行日志。本文主要介绍查看离线同步实例的详情。前提条件 已上线离线同步任务，具体操作，请参见 上线离线数据同步任务。操作步骤...
是 媒体竞价平台（巨量广告可以回流，巨量千川无法回流）开屏、信息流 巨量广告平台，客户自助到平台后台创建投放订单、支持自定义人群上传，支持openAPI上传人群，支持openAPI回流效果数据，支持监测代码回流DeviceID；两个方式：（1）...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在同步任务列表，单击“信用卡客户数据上云_d”操作列的 上线，弹出 确定上线 提示页面，单击 确定。预期结果 在 周期任务管理 页面，“信用卡客户数据上云_d”任务的...
DataWorks是一站式智能大数据开发治理平台，适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务，为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...
在左侧导航栏，单击 图标，将鼠标悬停在 离线数据同步 上，单击 图标。在同步任务列表，在“信用卡客户数据上云_d”任务操作列中，单击 操作 列的 监控。在 离线同步实例 页面，默认展示最新运行的实例任务，在任务的 操作 列单击 详情，...
多场景支持：支持离线数仓搭建、数仓提速、离线数据分析、数据中台搭建、大规模数据集成、离线计算、异构数据集成等。低门槛：近乎零代码，简单配置连线后即可满足各项离线数据集成任务，同时任务支持复杂调度。基于资产的虚拟湖：配合数据...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，单击 图标，选择 离线任务 离线计算实例。在 离线计算实例 页面，搜索待标记的离线计算...
客户简介 上海市新能源汽车公共数据采集与监测研究中心（以下简称“数据中心”）是2014年底由上海市社会团体管理局批准注册成立，由上海市经济和信息化委员会负责业务指导，是上海市的新能源汽车市级监管平台，其主要职责是对上海市推广的...
操作步骤 登录 数据资源平台控制台。在页面左上角单击 图标，选择 探索。在顶部菜单栏，单击 图标，选择目标工作组，单击 任务中心。在左侧导航栏，选择 离线任务 微应用。在 微应用 页面右上角，单击 新建微应用。在 新建微应用 配置向导...
新增实时元表的资产质量监控规则，包括统计趋势监测、实时多链路对比和实时离线数据核对。2020年11月17日 华北2（北京）新建数据源规则 新建实时元表规则 2020年11月26日 华南1（深圳）2020年12月15日 华东2（上海）资产安全 新增资产安全...
操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，选择 离线任务 离线计算实例。在 离线计算实例 页面，单击目标实例 操作 列的 运维，...
操作步骤 登录 数据资源平台控制台。在菜单栏左上角，单击 图标，选择 协同。在顶部菜单栏，单击 图标，选择目标工作组，单击 运维监控。在左侧导航栏，选择 离线任务 离线计算任务。在 离线计算任务 页面，单击目标任务 操作 列的 运维，...
安全设置 申请、续期和交还函数权限 离线研发 新增支持离线调度模板功能，计算任务调度、集成任务调度、逻辑表调度、派生指标和离线数据集对象根据引用的调度模板进行任务调度。数据库SQL新增支持DM（达梦）和openGauss数据源。MaxCompute...
背景信息 Dataphin支持对接的数据源包括大数据存储型数据源、文件数据源、消息队列数据源、关系型数据源和NoSQL数据源，各模块支持对接的数据源类型说明如下：如果您需要在Dataphin中连接某数据源，则需要先在数据源管理中创建该数据源。...