大数据开发应用什么软件

_相关内容

API概览

本产品(大数据开发治理平台 DataWorks/2020-05-18)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...

大数据开发治理平台 DataWorks

大数据开发治理平台 DataWorks基于MaxCompute/EMR/Hologres等数据计算引擎,为客户提供专业高效、安全可靠的一站式大数据开发与治理平台,自带阿里巴巴数据中台与数据治理最佳实践,赋能各行业数字化转型。每天阿里巴巴集团内部有数万名...

技术架构选型

在数据模型设计之前,您需要首先完成技术架构的选型。本教程中使用阿里云数据产品MaxCompute配合...MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。

使用DataWorks连接

DataWorks基于MaxCompute等引擎,提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间,绑定后您可以创建计算任务并进行周期调度。使用...

使用新版数据开发体验

通过本教程,您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中...

使用新版数据开发体验

通过本教程,您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中获取...

使用旧版数据开发体验

通过本教程,您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中...

使用旧版数据开发体验

通过本教程,您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析,并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略,现需要从用户网站行为中获取...

API概览

本产品(大数据开发治理平台 DataWorks/2024-05-18)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...

使用OpenAPI

本文为您介绍使用大数据开发治理平台DataWorks OpenAPI的基本信息、使用限制、计费及调用说明。基本信息 版本 OpenAPI门户 支持的API列表 支持的地域 2024-05-18(新版OpenAPI)OpenAPI门户 支持的API列表 华东1(杭州)、华东2(上海)、...

实现开发生产等多套环境隔离

使用DataWorks进行大数据开发时,支持对开发、测试、生产等环境进行隔离,当您联合使用了其他阿里云产品时,也可根据环境隔离诉求进行对应业务的环境设置与隔离,本文以DataWorks联合EMR、OSS等产品为例,为您介绍如何实现开发生产等多套...

快速体验

DataWorks为您提供智能建模、数据清洗、周期调度运维、数据治理等一站式大数据开发管理能力,本文以一个零售电商行业的数仓搭建实验为例,为您介绍DataWorks在数仓搭建过程中的技术选型、技术流程以及流程实现,帮助您深入了解阿里云...

产品生态

DataWorks作为阿里云一站式大数据开发与治理平台,通常会与计算引擎产品联合使用,此外使用DataWorks进行数据集成时通常联合进行数据传输的数据源产品一起使用。本文为您介绍典型场景下,使用DataWorks时通常会使用到的其他云产品。计算...

DataWorks on EMR数据安全方案

数据安全能力:任务管理 DataWorks提供了大数据开发运维等能力,其中工作空间、安全中心等功能模块可实现对数据计算任务的管理。工作空间:通过DataWorks的工作空间规划可以实现工作空间的人员管理、设置数据作业可见性和可运维性。...

综合:网站用户画像分析

开源全托管服务EMR Serverless StarRocks 开源数据平台 E-MapReduce 开源全托管服务EMR Serverless Spark 数据中台 一站式大数据开发治理DataWorks 在本案例中,DataWorks作为数据中台,用于对原始数据进行同步、加工、质量监控、数据...

同步数据

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据,并且只支持在数据集成模块读取数据。进入数据开发 登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据...

购买指引

版本 适合群体推荐 推荐场景 核心差异 基础版 学生、个人开发者、初创团队 POC:快速验证数据项目可行性 开发非关键性、小规模数据应用 低成本入门数据开发实践 提供数据上云、基础开发调度、简易数据治理能力,满足快速验证与轻量级需求。...

准备环境

本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。本案例使用 数据开发(DataStudio)(旧版)进行数据加工。EMR环境准备 创建EMR集群 本教程需要您创建一个EMR集群,用于集成到...

什么是无影云应用

随时随地、即开即用 快速实现应用按需订阅模式 传统软件快速云化 为什么选择 无影云应用 作为一款完全托管的应用程序虚拟化流式传输服务产品,无影云应用 具备以下优势:高效管理 在云上集中管理应用,有效简化应用全生命周期管理,实现新...

DataWorks数据服务对接DataV最佳实践

现在通过DataWorks为您提供的 数据集成 数据开发 数据服务 的全链路数据研发平台,结合MaxCompute即可快速搭建企业数仓。DataWorks数据服务提供了快速将数据表生成API的功能,通过可视化的向导模式操作,无需代码便可快速生成API,然后通过...

什么是无影AgentBay

旨在解决本地运行自动化脚本与代码时存在的环境不一致、本地资源消耗、IP受限、安全风险高等典型问题,为 AI Agent 及各类自动化应用提供稳定、隔离与可弹性伸缩的云端执行环境。为什么选择无影AgentBay 场景丰富,覆盖全面 解决智能体...

EMR数据开发停止更新公告

作为一站式大数据开发治理平台,DataWorks沉淀阿里巴巴十多年数据建设方法论,为客户完成从入湖、建模、开发、调度、治理、安全等全链路数据湖开发治理能力,帮助客户提升数据的应用效率。迁移流程 阿里云DataWorks on EMR团队提供了完善...

应用开发概览

本文介绍了 OceanBase 数据应用开发常用的文档链接。规划数据库对象 二级目录 文档名称 规划数据对象 创建数据库 创建表 创建索引 数据写入 二级目录 文档名称 数据写入 插入数据 更新数据 删除数据 替换数据 数据读取 二级目录 文档名称...

大数据开发治理平台 DataWorks系统权限策略参考

本文描述大数据开发治理平台 DataWorks支持的所有系统权限策略及其对应的权限描述,供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合,可以精确地描述被授权的资源集、操作集以及授权条件。阿里云...

ETL工作流快速体验

案例提供的数据仅用于阿里云大数据开发治理平台DataWorks数据应用体验。仅 空间管理员 角色可导入ETL模板至目标工作空间。如需给账号授予空间管理员角色,请参见 空间级模块权限管控。导入ETL工作模板时选择的资源组若是Serverless资源组,...

云产品集成

大数据开发治理平台 DataWorks DataWorks 是一款为数据仓库、数据湖、湖仓一体等解决方案提供统一的全链路大数据开发治理平台。您可以使用 DataWorks 添加 ApsaraDB For OceanBase 数据源,管理 OceanBase 数据库中的数据,通过数据集成...

减灾与应急时空解决方案与案例

方案背景 华宁环球(北京)减灾与应急科技有限公司专注于自然灾害风险、灾害应急预警领域全栈数据、模型及平台研发,面向保险等行业及各级政府提供技术服务,数据及模型研发及成果应用处于行业领先水平。公司主营OpenRIS灾害风险大数据平台...

使用公开数据集进行数据查询、分析和可视化

公开数据集列表 类型 数据数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛,基于阿里巴巴100万条脱敏的商品数据,可以基于各类商品、操作、时间等字段,体验阿里云大数据分析能力。静态数据 ...

什么是DataWorks

DataWorks是一站式智能大数据开发治理平台,适配阿里云MaxCompute、E-MapReduce、Hologres、Flink、AnalyticDB、StarRocks、PAI 等数十种数据和AI计算服务,为数据仓库、数据湖、湖仓一体、Data+AI解决方案提供全链路智能化的数据集成、...

Data+AI概览

Notebook Notebook结合语言模型,可以给业务开发、数据开发、分析师和数据运营同学赋能,提升数据交付效率和数据自助分析的效率。用户使用该功能可以以文档形式交付查询、测试的数据及数据变化趋势等信息。文档交付后,您可以使用DMS提供...

准备环境

本案例提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。本教程使用 数据开发(DataStudio)(旧版)进行数据加工。MaxCompute环境准备 一、开通MaxCompute产品 本教程基于MaxCompute实现,请...

基础:购房群体简单分析

在左侧导航栏 产品类别 下依次打开 数据计算 数据开发与服务,然后在右侧找到 大数据开发治理平台DataWorks 的免费试用卡片,单击 立即试用。重要 免费试用抵扣包仅适用于初次使用DataWorks产品的新用户,老客户进入此页面将展示为不符合...

创建CDH Spark节点

登录 DataWorks控制台,切换至目标地域后,单击左侧导航栏的 数据开发与运维 数据开发,在下拉框中选择对应工作空间后单击 进入数据开发。右键单击某个业务流程,选择 新建节点 CDH CDH Spark。在 新建节点 对话窗中,配置节点的引擎实例、...

准备环境

本教程提供数据仅作为阿里云大数据开发治理平台DataWorks数据应用实操使用,所有数据均为人工Mock数据。本教程使用 数据开发(Data Studio)(新版)进行数据加工。MaxCompute环境准备 一、开通MaxCompute产品 本教程基于MaxCompute实现,...

应用场景

无影云应用 可以应用于对建模渲染、移动办公、数据安全、共享协作等方面有高要求的业务领域,例如高端设计、企业办公和软件云化等业务场景。建模、渲染和非编 场景痛点 建模、渲染和非编等场景面临以下常见痛点:对GPU算力要求高,IT设施的...

周期任务基本运维操作

操作详情请参见:发布任务(旧版数据开发)、节点/工作流发布(新版数据开发)。下线周期任务 当某任务或业务流程无需再运行时,您可选择下线相应任务,下线后,周期任务界面将无法找到该任务。详情请参见 下线任务(旧版数据开发)、下线...

DataWorks Copilot

一、功能概述 什么是DataWorks Copilot DataWorks Copilot,作为一站式智能数据开发治理平台 DataWorks 的智能助手,借助AI推理和自然语言处理能力,在代码开发场景下,帮助开发者根据自然语言快速完成多种代码相关操作,包括 SQL/Python ...

管理控制概述

模型服务为您提供高效部署、安全通信与便捷调用的一站式能力,您可以基于DataWorks的Serverless资源组轻松完成模型部署,并直接在数据集成、数据开发任务中调用模型。更多信息,请参见 模型服务管理。镜像管理 在控制台左侧导航栏,...

数据服务

数据推送:数据推送是阿里云大数据开发治理平台DataWorks提供的一项数据服务功能,允许用户通过编写SQL查询数据源(如MySQL、PostgreSQL、Hologres、MaxCompute、ClickHouse等),将查询结果结合富文本或表格内容,定期自动推送至钉钉群、...

数据服务概述

数据推送:数据推送是阿里云大数据开发治理平台DataWorks提供的一项数据服务功能,允许用户通过编写SQL查询数据源(如MySQL、PostgreSQL、Hologres、MaxCompute、ClickHouse等),将查询结果结合富文本或表格内容,定期自动推送至钉钉群、...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用