5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
数据源 单击 配置数据源，可在 设置数据源 面板中修改数据源类型和数据查询代码、预览数据源返回结果以及查看数据响应结果，详情请参见 配置资产数据。数据过滤器 数据过滤器提供数据结构转换、筛选和一些简单的计算功能。单击 添加过滤器...
他提供了数据缓存和元数据缓存等加速功能，并根据不同的CacheSet提供不同的读写策略，以满足数据湖在不同使用场景下对访问加速的需求。背景信息 CacheSet是JindoCache的缓存抽象。在实际使用中，并非所有的数据都需要缓存加速。考虑到数据...
云数据库MongoDB版支持单节点、副本集和分片集群三种部署架构，具备安全审计、时间点备份等多项企业能力。在互联网、物联网、游戏、金融等...大数据应用：使用云数据库MongoDB作为大数据的云存储系统，随时进行数据提取分析，掌握行业动态。
数据源负责从各种数据存储系统中提取数据，包括数据库（如MySQL、PostgreSQL）、大数据存储（如TableStore）、API、文件等。本文为您介绍DataV-Board支持的所有数据源，并提供数据源的选型指导。使用限制 数据源支持情况因不同版本而异，...
用户无需编写底层模型调用代码，即可通过标准SQL或MaxFrame（分布式Python引擎）直接调用大模型或机器学习模型，显著降低用户在数据处理、大数据分析等场景的AI使用门槛。场景概述 随着大模型对于数据的理解能力显著增强，具备了从多模态...
MaxCompute已被广泛应用于各大领域处理云上大数据，帮助众多企业解决了海量数据分析问题，同时降低企业运维成本，企业人员可更专注于业务开发。本文为您介绍MaxCompute的精选客户案例。MaxCompute的全量客户案例信息，请参见 行业客户案例...
大数据场景 云数据库HBase支持海量全量数据的低成本存储、快速批量导入和实时访问，具备高效的增量及全量数据通道，可轻松与Spark、MaxCompute等大数据平台集成，完成数据的大规模离线分析。优势如下：低成本：高压缩比，数据冷热分离，...
数据量：介绍在数据库备份场景下的四个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。内置存储与用户OSS：从安全性、可靠性、成本、易用性、增值服务等方面介绍 数据灾备 内置存储和用户OSS的情况。产品计费 备份费用：...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
因此，云账号负责人可以为大数据团队创建自定义角色 BigDataOssRole，并限制可以使用角色的人员为大数据团队的相关人员，实现团队间的权限管控。创建自定义角色。本案例示例创建可信实体为 阿里云账号、角色名称为 BigDataOssRole 的自定义...
DataWorks 提供一站式大数据开发与治理平台，涵盖数据集成、开发、建模、分析、质量、服务、地图及开放能力，支持全链路数据处理与企业级数据中台建设。本文为您介绍DataWorks的核心功能特性。数据集成：全领域数据汇聚 DataWorks的数据...
通过本教程，您可以了解如何使用DataWorks和StarRocks产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为...
在数据库备份场景下，有4个概念：数据库磁盘空间、数据文件空间、备份数据量、存储数据量。数据量 说明 数据库磁盘空间 由数据库的数据文件空间、数据库的日志文件空间、操作系统文件空间和空闲空间组成。说明 RDS中为：购买时选择的存储...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
通过本教程，您可以了解如何使用DataWorks和MaxCompute产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站...
使用Checksum迁移HDFS数据到OSS 使用Checksum迁移HDFS数据到OSS 2021-05-11 通过Checksum算法，你可以在大数据迁移场景中校验数据的完整性、对比数据差异并实现增量迁移。本视频为您介绍如何使用Jindo Distcp迁移HDFS数据到OSS，以及在迁移...
DataWorks 是阿里云提供的一站式大数据开发与治理平台，旨在帮助用户解决从数据接入、处理、治理到服务化的全链路数据问题。它通过一系列高度协同的功能模块，将复杂的数据工程流程化、可视化，显著降低了大数据开发的门槛。本文将为您逐一...
通过本教程，您可以了解如何使用DataWorks和Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中...
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至 AnalyticDB for MySQL 数据库中。数据库迁移 通过创建...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
通过本教程，您可以了解如何使用DataWorks和EMR产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从用户网站行为中获取...
云数据库 SelectDB 版 支持多样化的数据导入方式，涵盖原生接口与生态工具，满足从实时流数据到离线批处理的多场景需求。本文为您介绍数据导入到 SelectDB 的核心接口与工具。导入选型建议 阿里云生态源数据：DTS、DataWorks 非阿里云生态...
为充分契合数据安全治理的核心理念与通用思路，DataWorks针对资产梳理、技术体系/运营体系建设提供了一系列全面的数据安全产品能力，基于“I（Identify）P（Protect）D（Detect）R（Respond）”理论框架，从资产识别、安全防护、行为检测、...
通过本教程，您可以了解如何使用DataWorks和EMR Serverless Spark产品组合进行大数据开发和分析，并通过用户画像分析案例体验DataWorks在数据集成、数据开发和运维中心模块方面的相关能力。案例介绍 为了更好地制定企业经营策略，现需要从...
DataWorks基于MaxCompute等引擎，提供统一的全链路大数据开发治理平台。本文为您介绍如何通过DataWorks使用MaxCompute服务。背景信息 DataWorks支持将计算引擎绑定至DataWorks的工作空间，绑定后您可以创建计算任务并进行周期调度。使用...
在大数据领域，阿里云为企业用户提供了一整套数据安全方案，包含用户认证、数据权限、大数据作业管理体系等。本文以联合使用DataWorks与EMR为例，为您介绍DataWorks on EMR场景下的数据安全方案。背景信息 DataWorks on EMR目前支持LDAP...
解决方案 数据归档 数据归档功能支持定时将大表的数据归档至其他数据库，同时支持源表数据删除、表空间整理回收等。一键建仓 一键创建实时同步的数据仓库，数据在秒级的延迟下，同步至 AnalyticDB for MySQL 数据库中。数据库迁移 通过创建...
通过创建Impala数据源能够实现Dataphin读取Impala的业务数据或向Impala写入数据。本文为您介绍如何创建Impala数据源。背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至...
背景信息 MaxCompute即阿里云大数据计算服务，适用于数据分析场景的企业级SaaS（Software as a Service）模式云数据仓库，以Serverless架构提供快速、全托管的在线数据仓库服务，消除了传统数据平台在资源扩展性和弹性方面的限制，最小化...
数据归档 数据归档功能定时将大表的数据归档至其他数据库，支持源表数据删除、表空间整理回收等功能。数据库迁移 通过创建工单实现数据库迁移、校验和清理的闭环操作。运维管理 通知管理 可根据您的业务需求，订阅不同功能模块的消息事件，...
在使用Dataphin前，您需要选择符合业务场景需求的数据库或数据仓库作为数据源，用于读取原始数据和写入数据建设过程中的数据；同时您需要准备MaxCompute项目、Flink项目作为Dataphin的计算源，为数据的研发提供计算资源。准备数据源 ...
背景信息 在海量数据场景下，传统数据库备份服务面临两大越来越严重的困难：存储成本：为了保障数据恢复点目标（Recovery Point Objective，RPO），周期性的全量和增量备份产生大量重复数据，导致存储成本过高。使用成本：您必须待数据完成...
公开数据集列表 类型 数据集 数据来源及说明 数据类型 数字商业 阿里电商数据集 本数据集来源天池阿里移动推荐算法挑战赛，基于阿里巴巴100万条脱敏的商品数据，可以基于各类商品、操作、时间等字段，体验阿里云大数据分析能力。静态数据 ...
5分钟快速了解 背景信息 面对各行各业对大数据的应用，数据集成会有很多的诉求，包括能够简单高效地配置大量数据表的同步任务、能够集成多种异构数据源、能够实现对数据源的数据进行轻度预处理、能够实现数据同步任务的调优（例如容错、...
离线 T+1 批量处理(构建坚实的数据基座)在 DataWorks 数据开发(DataStudio)中，使用 MaxCompute SQL 节点，可以对 TB 甚至 PB 级的海量历史数据进行高效、低成本的批量计算、清洗和建模。强大的 智能调度系统 负责每日凌晨自动执行这些ETL...
功能概述 SQL查询 SQL查询是使用标准的SQL语句，来查询和分析存储在MaxCompute中的大数据，详情请参见 SQL查询（旧版）。您可以通过编写SQL语句，对有查询权限的数据源进行快速的数据查询与分析操作，详情请参见 SQL查询（旧版）。...
通过创建Hudi数据源能够实现Dataphin读取Hudi的业务数据或向Hudi写入数据。本文为您介绍如何创建Hudi数据源。背景信息 Hudi即Apache Hudi，Hudi是一个通用的大数据存储系统，将核心仓库和数据库功能直接引入到数据库中，并支持记录级别的...
DataWorks的Data Studio模块提供多种节点以满足不同数据处理需求：数据集成节点用于同步，引擎计算节点（如MaxCompute SQL、Hologres SQL、EMR Hive）用于数据清洗，通用节点（如虚拟节点和do-while循环节点）用于复杂逻辑处理。...
一、数据集成 DataWorks的数据集成模块为您提供读取和写入数据至EMR Hive的能力，您需要将Hive组件创建为 DataWorks的 Hive数据源，实现将其他数据源的数据同步至Hive数据源，或将Hive数据源的数据同步至其他数据源。同时，可根据需要选择...