大数据生成软件

_相关内容

HTTP触发器节点

业务流程创建完成正常运行后,如果您想获取触发节点的下游任务节点的历史时间段的运行结果,您可参见 执行补数据并查看补数据实例(新版)进行补数据操作。补数据操作时无需外部调度系统下发调度指令,HTTP触发节点会直接触发下游节点...

新建补数据任务

暂停调度任务对应实例 配置暂停调度的任务生成的补数据实例的运行状态:暂停运行(可能会阻断补数据进程):即暂停调度的任务生成的补数据实例均暂停运行,会阻断下游实例正常运行。说明 适用于当前任务及其下游任务均不需要运行的场景。...

周期任务补数据

周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或回刷历史一段时间区间的数据,可以使用补数据功能。节点使用的...

新建补数据任务

暂停调度任务对应实例 配置暂停调度的任务生成的补数据实例的运行状态:暂停运行(可能会阻断补数据进程):即暂停调度的任务生成的补数据实例均暂停运行,会阻断下游实例正常运行。说明 适用于当前任务及其下游任务均不需要运行的场景。...

LogHub(SLS)单表实时入湖至Data Lake Formation

在选择logstore后,在 输出字段配置 区域会自动加载该logstore中的数据生成相应的字段名。可调整 数据类型、删除 以及 手动增加输出字段。说明 如果配置或者字段在SLS中不存在,则对应字段向下游输出为NULL。2、编辑数据处理节点 单击 ...

管理集成和计算任务

查看补数据实例 查看并运维补数据操作生成的补数据实例。补数据 周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或...

LogHub(SLS)单表实时同步至MaxCompute

在选择logstore后,在 输出字段配置 区域会自动加载该logstore中的数据生成相应的字段名。可调整 数据类型、删除 以及 手动增加输出字段。说明 如果配置或者字段在SLS中不存在,则对应字段向下游输出为NULL。2、编辑数据处理节点 单击 ...

LogHub(SLS)单表实时同步至Hologres

在选择logstore后,在 输出字段配置 区域会自动加载该logstore中的数据生成相应的字段名。可调整 数据类型、删除 以及 手动增加输出字段。说明 如果配置或者字段在SLS中不存在,则对应字段向下游输出为NULL。2、编辑数据处理节点 单击 ...

LogHub(SLS)单表实时同步至OSS-HDFS数据

在选择logstore后,在 输出字段配置 区域会自动加载该logstore中的数据生成相应的字段名。可调整 数据类型、删除 以及 手动增加输出字段。说明 如果配置或者字段在SLS中不存在,则对应字段向下游输出为NULL。2、编辑数据处理节点 单击 ...

GenerateDISyncTaskConfigForUpdating-异步生成更新...

接口说明 DataWorks 目前仅支持直接使用 UpdateDISyncTask 接口更新数据集成离线同步任务,而数据集成实时同步任务则需要先调用 GenerateDISyncTaskConfigForUpdating 和 QueryDISyncTaskConfigProcessResult 接口,异步生成更新数据集成...

管理集成和计算任务

查看补数据实例 查看并运维补数据操作生成的补数据实例。补数据 周期任务补数据功能用于对周期任务在指定的历史业务日期内进行数据回刷。周期任务开发完成并提交发布后,任务会按照调度配置定时运行,如果您希望在指定时间段运行周期任务或...

产品安全能力

数据脱敏 在数据库使用中,需要实时地从生产环境中的数据库(即生产库)获取最新的客户数据来进行报表生成数据分析、开发测试等。但为了不泄露真实的客户个人信息(Personal Identifiable Information),需要将这些数据进行脱敏处理后...

加工数据

本文为您介绍如何用Spark SQL创建外部用户信息表 ods_user_info_d_spark 以及日志信息表 ods_raw_log_d_spark 访问存储在私有OSS中的用户与日志数据,通过DataWorks的EMR Spark SQL节点进行加工得到目标用户画像数据,阅读本文后,您可以...

新建账号

质量管理员:拥有创建数据表、数据源等资源的质量规则的权限,查看生成数据质量报告。跨租户发布使用人:拥有跨租户发布数据的操作权限。数据标准管理员:拥有所有数据标准的查看、操作及管理权限。标签业务员:拥有规划模块中标签架构的...

查看历史任务

数据集成任务会在每个调度时间点生成一个数据迁移任务,通过DTS控制台您可以查看所有已经运行完成的数据迁移任务,了解该任务的执行情况。前提条件 已创建数据集成任务,相关案例请参见 配置RDS MySQL间的数据集成任务。操作步骤 登录 数据...

集成EncJDBC

生成MEK MEK:由客户端通过安全的非对称加密协议传输给数据库服务端,使服务端、客户端具有相同的密钥,从而通过对称加密安全传输数据。取值范围:长度为16字节的16进制字符串,且长度为32个字符。警告 MEK是您授权客户端访问加密数据的根...

管理数据集成任务

当到达调度时间点时,DTS将正常生成一个数据迁移任务。删除数据集成任务 数据集成任务将转变为 已删除 状态,不再调度该任务。重要 处于 已删除 状态的任务,不能再执行 恢复数据集成任务,请谨慎执行删除数据集成任务操作。操作步骤 登录 ...

查看数据表资产详情

字段信息:为您展示字段的序号、名称、数据类型、描述/备注、业务类型/关联实体(维度逻辑表和事实逻辑表仅展示关联实体)、关联标准(需购买数据标准模块)、样例数据(仅开启 数据采样 功能时展示)、质量分(需购买数据质量模块且资产...

智能推荐标准映射

标准映射基于圈选的数据表通过模型结合语义分析,识别核心字段,从而智能推荐标准映射,您可对映射关系执行应用、弃用等操作。本文为您介绍如何配置智能推荐标准映射。前提条件 需购买数据标准功能和X-数据标准功能才能使用X-数据标准。...

sequential_uuid(UUID生成

sequential_uuid插件可以生成两个具有顺序模式的UUID生成器,可以帮助您减少完全随机的UUID生成器所带来的随机I/O问题。前提条件 支持的 PolarDB PostgreSQL版(兼容Oracle)的版本如下:Oracle语法兼容 2.0(内核小版本2.0.14.1.0及以上)...

sequential_uuid(UUID生成

sequential_uuid插件可以生成两个具有顺序模式的UUID生成器,可以帮助您减少完全随机的UUID生成器所带来的随机I/O问题。适用范围 支持的 PolarDB PostgreSQL版(兼容Oracle)的版本如下:Oracle语法兼容 2.0(内核小版本2.0.14.5.1.0及以上...

sequential_uuid(UUID生成

sequential_uuid插件可以生成两个具有顺序模式的UUID生成器,可以帮助您减少完全随机的UUID生成器所带来的随机I/O问题。适用范围 支持的 PolarDB PostgreSQL版 的版本如下:PostgreSQL 18(内核小版本2.0.18.1.2.0及以上)PostgreSQL 17...

聚合支付方案

借助PolarDB和 AnalyticDB MySQL 的大数据处理能力,决策报表的生成时间从分钟级别降低至秒级,部分报表可以在10秒内生成,部分特别复杂的报表生成时间为1分钟。业务行为和业务决策平滑对接,决策者可以通过报表数据快速进行业务决策,...

生成数据API

数据服务解决从数仓到应用的“最后一公里”,将数据源中的数据表快速生成数据API,在API网关进行统一管理和发布。实现低成本、易上手、安全稳定的数据共享与开放。背景信息 为了将最终分析的结果加速查询后开放出API接口对接三方服务,本次...

创建及管理来源系统

报表应用:基于数据应用层提供的数据生成的业务报表、仪表板大盘等高级分析可视化展示。运营人员 选择来源系统的运营人员,负责对归属于该来源系统的元数据进行常规维护。支持选择用户或用户组。用户:选择当前租户下正常使用的用户,最多...

创建及管理来源系统

报表应用:基于数据应用层提供的数据生成的业务报表、仪表板大盘等高级分析可视化展示。运营人员 选择来源系统的运营人员,负责对归属于该来源系统的元数据进行常规维护。支持选择用户或用户组。用户:选择当前租户下正常使用的用户,最多...

管理数据

生成数据表可在数据地图模块进行查看,可通过 血缘查看 来查生成表之间的关系。前提条件 开始本实验前,请先完成 同步数据 和 加工数据 的操作。数据源版本 是否手动采集 前提操作 MaxCompute 否 需完成 简单用户画像分析(MaxCompute版...

管理问题数据

数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据,帮助您快速排查、定位问题,提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据数据质量支持在部分规则校验不通过...

数据源管理

在DataV-Atlas(分析地图)中,数据源是生成可视化分析地图的基础。本文为您介绍如何在项目中添加、使用和管理数据源。前提条件 已经创建项目。请参见 创建及管理项目。进入项目管理 登录 DataV-Atlas控制台。在 我的项目 全部项目 下,将...

基本概念

数据数据源 是项目中用来生成可视化分析地图的数据来源,用户可以 数据中心 中上传体验数据和添加数据数据。表类型 项目中支持多种表格类型,每种表格的显示图标都不相同,包括但不限于矢量、栅格、矢量快显 和非空间表。图层 经过对...

数据目录(新版)

数据目录是您在数据分析时统一的元数据工作台。它整合了MaxCompute、Hologres、DLF等多种数据源的元数据,让您无需离开DataWorks即可完成建表、视图管理等所有准备工作,从而专注核心分析。功能入口 登录 DataWorks数据分析,切换至目标...

使用数据集和变量

生成查询结果集。您需先基于 数据库 或 文件数据集 进行 查询分析,其分析结果将视为一个查询结果集。说明 生成的查询结果集可在左侧 数据集 查询结果集 目录查看。示例基于文件数据集进行查询分析,生成查询结果集,操作如下。可按需更改...

操作流程

数据服务API:数据API是一种由云计算资源中的数据通过参数配置生成API的API类型,生成API后可以方便后续调用,减少资源操作成本。三方API:统一服务支持创建第三方平台提供的API,通过生成API可以方便后续调用,减少资源操作成本。数据上报...

AI助力SQL分析:宜居小区案例

在左侧 文件数据集 列表下,鼠标悬停至住宅数据,单击 图标,选择 创建SQL查询,系统会根据当前数据表自动生成SQL分析单元、查询语句及查询结果集。使用AI助手辅助分析。单击SQL分析单元右上角的 AI助手,唤起AI助手。使用自然语言输入您的...

层级生成器功能介绍

层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具,本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列,选择 层级生成器 页签,即可打开 层级生成器 工具页面。层级生成器界面 层级生成器界面...

数据分析及报告制作

在DataV-Note(智能分析)中,分析单元是进行数据分析及报告制作的主要工作区域,而数据集和变量则是分析单元用于进行分析的输入数据。本文为您介绍DataV-Note支持的分析单元类型,以及数据分析及报告制作的流程概述。概念须知 分析单元:...

层级生成器功能介绍

层级生成器是一款用于生成自定义下钻区域树形结构数据的小工具,本文介绍层级生成器的详细功能。进入层级生成器 单击 DataV.GeoAtlas地理小工具系列,打开 层级生成器 工具页面。界面概述 层级生成器界面主要分成两主要功能面板,分别为...

使用DMS数据追踪进行恢复

DMS的数据追踪功能可以快速按需找到目标时间段内的相关更新,并生成逆向回滚语句,追踪完的数据可批量生成回滚脚本,通过数据变更工单最终执行到数据库中完成数据的修复。当误操作受影响的数据量在10万以内时,您可使用该方法进行数据恢复...

分享页域名变更公告

域名变更操作范围 2024年11月20日之后,执行如下操作,生成的域名将发生变更:首次发布数据看板,生成 分享链接。对已发布的数据看板,执行“新增快照并发布、切换发布快照、发布历史快照、关闭历史快照后重新发布”等操作,该类操作均会...

管理已提交实例

已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页的顶部菜单...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用