大数据软件开发工程师

_相关内容

同步数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据,并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据...

准备环境

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据,并且只支持在数据集成模块读取数据。在 私有OSS环境准备 步骤中创建的OSS对象存储的 Bucket 将用于接收MySQL数据源的用户信息数据与...

DataWorks模块使用指引

适用角色:实时开发工程师数据分析师。组合模式三:数据探索与分析 此组合主要服务于数据分析师或运营人员,需要快速验证想法、进行临时性的数据探查。核心目标:提供自助、高效的数据查询与分析环境,降低数据获取门槛。模块组合:实现...

管理控制概述

模型服务为您提供高效部署、安全通信与便捷调用的一站式能力,您可以基于DataWorks的Serverless资源组轻松完成模型部署,并直接在数据集成、数据开发任务中调用模型。更多信息,请参见 模型服务管理。镜像管理 在控制台左侧导航栏,...

个人开发环境制作DataWorks镜像

Data Studio新版数据开发支持将个人开发环境制作成镜像,以供数据开发与其他个人开发环境使用。本文将介绍如何在个人开发环境制作个人开发实例镜像。背景介绍 在个人开发环境开发测试时,若您想要使用不同的三方依赖,您不仅可以在个人开发...

管理控制

管理控制台丰富多样的功能模块,可以帮助用户进行数据集成、数据开发与运维、数据治理、数据分析以及数据服务,以及监控和管理数据服务的运行状态和性能。注意事项 管理控制台存在RAM用户(即子账号)访问控制,若您无法看到部分界面功能或...

使用公开数据集进行数据查询、分析和可视化

公开数据集列表 类型 数据数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛,基于阿里巴巴100万条脱敏的商品数据,可以基于各类商品、操作、时间等字段,体验阿里云大数据分析能力。静态数据 ...

DataWorks交流钉钉群

在阿里巴巴内部,每天有数万数据、算法开发工程师正在使用DataWorks。您需要先单击 申请链接 加入“阿里云大数据AI平台”交流群,再扫描下方二维码加入DataWorks产品钉钉交流群,加入后,即可获得专属产品技术支持,技术直播活动,产品新...

大数据开发治理平台 DataWorks

大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等大数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...

跨云发布

环境限制 源工作空间跨云发布到目标工作空间时,环境限制如下:源工作空间 目标工作空间 工作空间模式 数据开发版本 简单模式 新版数据开发 简单模式 旧版数据开发 标准模式 新版数据开发 标准模式 旧版数据开发 简单模式 新版数据开发 不...

什么是DataWorks

DataWorks是一站式智能大数据开发治理平台,适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种大数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...

用户价值

数据资源平台为用户提供了一站式数据资产定义、生产、管理与服务平台,提供企业级数据资产构建能力和一致性使用体验,助力客户快速构建数据智能平台,实现数据资源统一管理,挖掘潜在规律,优化业务决策,让大数据真正的驱动客户业务。...

元数据采集

代码来源 采集口径 触发采集方式 数据开发 数据开发-创建节点并编辑代码 自动采集 数据开发(旧版)数据开发(旧版)-创建节点并编辑代码 数据分析 数据分析-新建SQL查询并编辑代码 数据服务 数据服务-新建API数据推送服务 API资产 数据...

概览

为了更好地指导您使用数据管理DMS(Data Management),DMS推出解决方案系列文档,旨在通过最佳实践(Step by Step)的形式向您介绍DMS研发流程、数据安全、数据开发的解决方案。研发流程解决方案 DMS为在线流程化系统,可统一管理企业内...

基本概念

数据资产:数据资源平台中存在大量的数据表、标签、API等各类数据资产,数据管理者通过数据汇聚、数据治理、数据分析后,需要对整个平台数据进行统一管控,了解平台的核心数据资产,提供对应的数据资产管理规范。统一服务 应用:是调用API...

术语表

S SDK Software Development Kit,软件开发工具包。一般都是一些被软件工程师用于为特定的软件包、软件实例、软件框架、硬件平台、操作系统、文档包等建立应用软件的开发工具的集合。MaxCompute支持 Java SDK 和 Python SDK。授权 项目管理...

标签工厂概述

标签工厂是通过从标签创建到服务全链路的构建,为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台,适合多种场景(如风控、营销),提供离线、实时、服务标签的开发、管理、探索以及服务能力,赋能上层各端业务应用,为企业...

标签工厂概述

标签工厂是通过从标签创建到服务全链路的构建,为企业数据研发团队以及开发工程师提供一站式标签开发以及服务平台,适合多种场景(如风控、营销),提供离线、实时、服务标签的开发、管理、探索以及服务能力,赋能上层各端业务应用,为企业...

什么是阿里云认证

认证方向 工程师ACA 高级工程师ACP 专家ACE 大模型 大模型工程师 人工智能工程师 模型高级工程师 人工智能高级工程师 云计算架构师 云计算 云计算工程师 云计算高级工程师 云网络高级工程师 大数据数据工程师 大数据高级工程师 大数据...

什么是EMR Notebook

EMR Notebook是一个Serverless化的交互式数据分析和探索平台,满足数据和AI融合下的数据处理需求,为数据工程师数据分析师和数据科学家提供了可视化的应用程序开发环境。通过EMR Notebook可以完成对SQL、Python、Markdown等多种语言...

什么是MaxFrame

MaxFrame是阿里云MaxCompute为了满足用户在Python生态中日益增长的高效大数据处理和AI开发需求,提供的基于Python编程接口的分布式计算框架。您可直接利用MaxCompute的海量计算资源及数据通过MaxFrame进行TB/PB级数据处理、可视化数据探索...

后续指引

介绍:数据迁移 实践:数据迁移最佳实践 常见问题:数据上传下载常见问题 规模数据迁移 MaxCompute提供MMA(MaxCompute Migration Assist)迁移工具支撑规模数据迁移。开发与分析 数据类型 MaxCompute支持三种数据类型版本,为您介绍各...

实时数据集概述

实时数据集是通过指标映射创建实时标签的前提条件。实时数据集通过不同的定义方式所创建的虚拟表结构。定义好实时数据集后,可以通过指标映射的方式创建实时标签。功能概述 实时数据集可以通过不同数据来源选择不同实时数据集的定义方式。...

五分钟快速了解Dataphin

标签平台 功能 演示 描述 标签平台 5分钟快速了解-标签平台 标签工厂通过构建从标签创建到服务的全链路,为企业数据研发团队及开发工程师提供一站式的标签开发和服务平台,适用于多种场景(如风控、营销)。标签平台具备离线、实时及服务...

五分钟快速了解Dataphin

标签平台 功能 演示 描述 标签平台 5分钟快速了解-标签平台 标签工厂通过构建从标签创建到服务的全链路,为企业数据研发团队及开发工程师提供一站式的标签开发和服务平台,适用于多种场景(如风控、营销)。标签平台具备离线、实时及服务...

五分钟快速了解Dataphin

标签平台 功能 演示 描述 标签平台 5分钟快速了解-标签平台 标签工厂通过构建从标签创建到服务的全链路,为企业数据研发团队及开发工程师提供一站式的标签开发和服务平台,适用于多种场景(如风控、营销)。标签平台具备离线、实时及服务...

MaxCompute函数管理

您可以通过MaxCompute函数面板,查看在MaxCompute计算引擎中存在的函数、函数的变更历史,并可以一键添加函数至数据开发面板的业务流程中。查看函数 进入 数据开发 页面。登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据...

Notebook 查询与分析

多引擎开发:DataWorks Notebook拥有SQL Cell功能,支持多种大数据引擎的SQL开发与分析。交互式分析:交互式SQL查询:通过Python编写Widgets组件,通过在组件中直观选择或设置参数的取值,后续可以进一步在SQL中引用相同参数及取值,从而...

数据下载

在DataWorks的数据开发(DataStudio)、数据分析、安全中心模块下载的CSV、XLSX格式文件数据将同步保存至数据下载功能。通过该功能,您可将所需历史下载文件重新下载至本地使用,也可追溯历史下载记录的操作详情。前提条件 已通过如下模块...

配置基础属性

进入数据开发节点的编辑页面,单击右侧导航栏的 调度配置,在 基础属性 区域配置调度节点的基本信息。参数 描述 名称 新建数据开发节点时输入的节点名称,不可以修改。节点ID 数据开发节点提交后会生成唯一的节点ID,不可以修改。节点类型 ...

上传数据

DataWorks的DataStudio(数据开发)支持将本地的CSV文件或自定义文本文件数据直接上传至MaxCompute表中,本文为您介绍相关操作。前提条件 已创建用于接收本地数据的MaxCompute开发表。建表操作请参见 创建并使用MaxCompute表。使用限制 ...

创建解决方案

数据开发模式全面升级,包括工作空间 解决方案 业务流程三级结构,抛弃陈旧的目录组织方式。背景信息 DataWorks对数据开发模式进行全面升级,按照业务种类组织相关的不同类型的节点,让您能够更好地以业务为单元、连接多个业务流程进行开发...

开放事件(OpenEvent)

数据下载前置事件-文件下载 不支持 支持 数据上传前置事件 不支持 支持 空间级事件 数据开发 数据开发消息格式详情请参见:数据开发事件列表。事件类型 事件 普通事件 扩展点事件 示例(产生事件消息的操作)节点变更 新增节点 支持 不支持...

准备环境

为保证您可以顺利完成本次实验,请您首先确保自己云账号已开通大数据计算服务MaxCompute、数据工场DataWorks和 人工智能平台 PAI。前提条件 注册阿里云账号,详情请参见 注册阿里云账号。实名认证,详情请参见 个人实名认证 背景信息 本次...

互联网、电商行业离线大数据分析

概述 电商网站的销售数据通过大数据进行分析后,可以在屏幕展示销售指标、客户指标、销售排名和订单地区分布等业务指标数据。DataV大屏支持可视化动态展示销售数据,触控大屏支持您自助查询数据,极地提高数据的可读性。应用场景 电商...

代码搜索

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。在数据开发目录树区域,单击顶部菜单栏的 图标,进入 代码搜索 页面。配置搜索条件并查看搜索结果。...

执行冒烟测试

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。开启强制冒烟测试 空间管理员可开启工作空间强制进行冒烟测试,开启强制冒烟测试功能后,当前工作...

配置PolarDB输入

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。鼠标悬停至 图标,单击 新建节点 数据集成 实时同步。您也可以展开业务流程,右键单击目标业务流程...

数据开发流程引导

DataWorks将不同类型引擎任务封装为不同节点,通过创建节点来生成数据开发任务。同时,数据开发(DataStudio)支持使用资源、函数以及不同的逻辑处理节点开发复杂任务。本文将为您介绍数据开发任务的通用开发流程。前提条件 已绑定所需数据...

查看操作记录

数据开发DataStudio界面中,您可在 操作历史 界面通过操作类型、操作人、操作时间进行筛选,查看人员在当前工作空间中的操作记录。使用说明 仅支持查看DataStudio中以下几类操作记录:任务责任人变更操作、任务调度属性变更操作、任务及...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用