大数据与软件开发的区别

_相关内容

创建手动任务

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面左侧导航栏选择 手动业务流程。若您界面没有该菜单,请参见 改变布局:定制化展示...

创建EMR函数

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。新建业务流程,详情请参见 创建周期业务流程。在本地Java环境编辑程序并生成JAR包后,再新建JAR资源...

配置MySQL输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

系统管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏,单击 数仓规划,进入 数仓分层。在左侧导航栏,单击 系统管理,...

使用节点组

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在左侧业务流程目录下,双击目标业务流程,进入该业务流程的编辑面板。新建节点组。生成节点组。您...

创建AnalyticDB for PostgreSQL表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在 数据开发 页面,鼠标悬停至 图标,单击 新建表 AnalyticDB for PostgreSQL 表。您也可以打开相应...

JSON数据从OSS迁移至MaxCompute

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击 数据源,进入 数据源 页面,通过 新建数据源 添加MaxCompute项目。单击 新建数据源并绑定数据...

一键MaxCompute数据同步节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。创建 业务流程。如果您已有 业务流程,则可以忽略该步骤。鼠标悬停至 图标,选择 新建业务流程。在 ...

配置数据脱敏

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

模型管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上方的 图标,选择 全部产品 数据建模 维度建模。在 维度建模 页面单击 图标,进入 模型列表...

扩展程序审批策略

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标,选择 全部产品 更多 审批中心。在左侧导航栏选择 审批策略管理 扩展程序。创建...

创建CDH Impala节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Impala。说明 鼠标悬停至顶部 新增 按钮,根据界面...

创建EMR表

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建表 EMR 表。您也可以找到相应的业务流程,右键单击 EMR,单击 新建表。...

发布任务

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。发布任务。检查通过的文件变更操作可在 任务发布 创建发布包 界面将操作发布至生产环境,有以下两种...

创建概念模型:维度

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。在 智能数据建模 页面的顶部菜单栏,单击 维度建模。在 维度建模 页面,鼠标悬停至 图标,单击 概念...

同步数据

本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例,通过数据集成离线同步任务分别同步至私有OSS中,再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...

基于自建Hadoop集群进行任务开发

步骤一:绑定自建集群至DataWorks 请将您自建Hadoop集群绑定至DataWorks作为计算资源,由于 使用新版数据开发(Data Studio)的空间 未 使用新版数据开发(Data Studio)的空间绑定方式不一样,所以请按照您空间实际环境,参考对应的文档...

创建和使用EMR资源

创建EMR资源 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建资源 EMR EMR JAR 或 新建资源 EMR EMR File。您也可以找到...

创建并使用PAI Designer

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击目标业务流程,选择 新建节点 算法 PAI Designer。在 新建节点 对话框中输入节点 名称,并...

表管理

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。进入表管理。按下图指引,进入表管理的设置页面。在该页面,您可进行如下设置:定义表相关格式,...

引擎运维

进入引擎运维 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 运维中心,在下拉框中选择对应工作空间后单击 进入运维中心。在左侧导航栏,选择 其他 引擎运维 E-MapReduce,进入E-MapReduce引擎运维页面。查看...

配置Kafka输出

操作步骤 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标...

物化逻辑模型

发布模型可将逻辑模型物化为MaxCompute、Hologres等物理引擎中的物理表或视图,用于后续的数据开发与分析。限制条件 发布模型前,需满足以下条件:目标引擎:支持发布至 MaxCompute、Hologres、EMR Hive、CDH、MySQL 引擎。发布类型:发布...

计算引擎审批策略

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。单击左上角的 图标,选择 全部产品 更多 审批中心,进入审批中心页面。进入审批中心页面后,在左侧...

同步数据

StarRocks ods_raw_log_d_starrocks col 原始日志 dt 分区字段 进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。一、设计业务流程 设计...

数据落标

模型发布生产环境成功后,DataWorks智能数据建模支持自动生成数据质量监控规则,便于后续在生产环境中通过生成的数据质量规则来约束对应表的数据质量。本文为您介绍如何在表发布成功后自动生成数据质量规则。前提条件 已将表发布至生产环境...

配置Kafka输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

通过数据集成导入数据至Elasticsearch

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。展开目标业务流程,右键单击 数据集成,选择 新建节点 离线同步 在 新建节点 对话框中,输入 名称 ...

加工数据

进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。一、设计工作流程 在 同步数据 阶段,已经成功将数据同步至MaxCompute,接下来的流程...

关系图

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据建模,在下拉框中选择对应工作空间后单击 进入数据建模。进入关系图。在智能数据建模页面,单击顶部菜单栏的 关系图,进入关系图页面。首次使用关系图的用户...

加工数据

进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。一、设计工作流程 在 同步数据 阶段,已经成功将数据同步至StarRocks,接下来的流程的...

大数据开发治理平台 DataWorks

大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...

Notebook 查询分析

多引擎开发:DataWorks Notebook拥有SQL Cell功能,支持多种大数据引擎的SQL开发与分析。交互式分析:交互式SQL查询:通过Python编写Widgets组件,通过在组件中直观选择或设置参数的取值,后续可以进一步在SQL中引用相同参数及取值,从而...

Notebook开发

多引擎开发:DataWorks Notebook拥有SQL Cell功能,支持多种大数据引擎的SQL开发与分析。交互式分析:交互式SQL查询:通过Python编写Widgets组件,通过在组件中直观选择或设置参数的取值,后续可以进一步在SQL中引用相同参数及取值,从而...

DataWorks模块使用指引

DataWorks 是阿里云提供的一站式大数据开发治理平台,旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块,将复杂的数据工程流程化、可视化,显著降低了大数据开发的门槛。本文将为您逐一...

技术架构选型

数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云大数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发数据质量、数据安全、数据管理等在内的一系列功能。

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定后您可以创建计算任务并进行周期调度。使用...

认证文件管理

认证文件管理是DataWorks的核心安全功能,用于统一管理访问数据源的身份凭证。本文系统阐述了其上传、管理到引用的完整操作及应用场景,从而保障数据开发集成的安全规范。

数据开发工作台(已停止新购)

EMR数据开发于2022年2月21日停止功能更新,2023年9月30日停止全面支持。如果您在2022年2月21日21点前未使用过数据开发功能,推荐您通过EMR Workflow进行...您也可以迁移到大数据开发治理平台DataWorks,详情请参见 EMR数据开发停止更新公告。

DataWorks HoloStudio下线公告

尊敬的DataWorks用户:为给您提供一致的开发体验,DataWorks HoloStudio 产品能力将整合至 DataWorks 数据开发(DataStudio)中,从 2024年2月29日 开始,HoloStudio将不再提供服务,届时您可使用DataStudio相关功能继续进行Hologres的数据...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用