本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
数据工作站可以结合大语言模型给业务开发、数据开发、分析师和数据运营同学赋能，提升数据交付效率和数据自助分析的效率。当您需要将查询的数据、测试的数据、以及数据变化趋势等信息，以文档的形式进行交付，并在交付后，希望有可以替您...
AnalyticDB PostgreSQL版 的企业数据智能平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据建模、数据开发、质量评估、资产管理等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据资源。...
或者下游在查询使用数据时，分区表达式没有正确赋值，查询使用了错误的分区数据。检查数据同步任务的调度变量表达式，即调度参数配置是否符合预期，调度时参数替换值是否符合预期。数据类型、时区问题 您的源头表数据类型、数据范围和目标...
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务，详情请参见 开通Dataphin。应用场景 基于Dataphin实现数据安全保护的一些典型的...
通过数据分类分级、敏感数据识别、敏感数据脱敏等措施，帮助客户建立完善的数据安全体系，确保数据使用的安全合规性。前提条件 已购买 资产安全 增值服务并且当前租户已开通 资产安全 模块。应用场景 基于Dataphin实现数据安全保护的一些...
使用Hadoop对批量数据创建索引 E-MapReduce Druid自带了一个名为wikiticker的例子，在${DRUID_HOME}/quickstart/tutorial 目录下（${DRUID_HOME} 默认为/usr/lib/druid-current）。wikiticker文件（wikiticker-2015-09-12-sampled.json.gz...
您可以通过流批一体的数据集成对在线数据进行入仓、加工处理，通过数据开发模块对数仓数据进行分层开发，之后结合数据服务和可视化能力对外提供数据使用和分析服务。您也可以将这些功能作为基础能力集成到您自己的数据平台中使用，建设属于...
SQL变更规则 用数规范 支持配置数据使用规范，通过配置规则来规范数据的使用，例如数据导出规则、查询规则、执行规则等。规范策略 支持自定义配置各类型数据的管控规范策略。创建安全规则 安全规则DSL语法 功能规范 支持对DMS中所有功能...
Dataphin数据源可以作为 Quick BI 的数据源，对业务数据进行展示、分析、探查和制作报表等 场景及使用流程 在开始使用数据服务前，需要您了解数据服务的使用场景，及在不同场景下对应角色的操作流程。入口介绍 在Dataphin首页，单击 服务，...
当线上数据库中的历史数据（访问率很低的数据）越来越多，占用的存储越来越大，以至于会影响数据库的查询性能与业务运转，此时您可以使用 数据管理DMS 的数据归档功能，周期性地将指定表的数据归档至其他数据库或存储服务中。同时，该功能...
阿里云数据资源平台是数据资产定义、加工、管理、服务的全流程平台，提供数据同步、数据查询、数据标准、数据建模、数据加工、质量评估、业务模型构建、资产管理、数据服务等功能，为智能数据应用持续稳定供给全量、标准、干净、智能的数据...
业务应用方 应用开发 业务分析 使用数据资产获得业务价值 更便捷的使用数据和算法资源：通过统一服务，应用开发人员可以快速开发数据智能应用，提高智能应用开发效率，发挥数据价值。自主挖掘数据的业务价值：通过画像分析、业务模型编辑器...
使用方法 Hadoop DistCp最常见的调用是集群间拷贝，例如将nn1集群的/foo/bar 目录下的数据拷贝至nn2集群的/bar/foo 目录下：hadoop distcp hdfs:/nn1:8020/foo/bar hdfs:/nn2:8020/bar/foo 更多使用说明，请参见 Hadoop社区的DistCp使用...
使用数据服务创建API前，需先将您的数据库或数据仓库添加为DataWorks数据源，以此作为数据服务API的数据来源。开发数据服务API时，数据服务将访问该数据源获取数据表的Schema信息，帮助您进一步设置请求和返回参数。本文为您介绍如何配置...
数据安全共享场景：您可以通过控制密钥的所有权，管理数据使用权和数据访问的频次，实现数据安全共享，避免数据泄露。场景如下图所示：版本介绍 Spark全密态计算引擎分为 基础版和高性能版两个版本，区别如下：基础版：基础版的Spark全密态...
数据源支持情况 数据集成目前支持40种以上的数据源类型（包括关系型数据库、非结构化存储、大数据存储、消息队列等），通过定义来源与去向数据源，并使用数据集成提供的数据抽取插件（Reader）、数据写入插件（Writer），实现任意结构化、...
MMA迁移作业方案 本文为您介绍Hadoop数据迁移至MaxCompute的两种迁移方案，您可以根据实际情况选择。迁移链路一 专线场景下，支持通过MMA迁移Hive数据至MaxCompute。迁移方案如下图所示。迁移链路二 无专线场景下，支持通过闪电立方迁移...
如果您有对敏感数据进行管控和脱敏的需求，可以使用 数据管理DMS 的敏感数据保护功能对数据库进行扫描，识别、脱敏和管理敏感数据。背景信息 通过敏感数据保护功能，可帮助企业及时有效地发现与识别敏感数据资产，避免敏感数据滥用，有效...
使用数据库内机器学习服务的优势主要体现在以下几个方面：简单易用：无需掌握专业的机器学习知识，只需要使用标准的SQL就能完成机器学习整个流程。无数据移动：无需将数据导出到外部平台，提高效率的同时，也可以更好地应对监管需求。企业...
目标数据库对来源IP进行了限制 检测方法：您可以直接在目标数据库部署的服务器上，使用数据迁移任务中填入的数据库账号和数据库密码来连接目标数据库。如果连接正常，说明可能目标数据库可能限制了来源IP。如果目标数据库为MySQL，您可以...
本文为您介绍如何使用数据上传功能上传数据。使用限制 数据来源限制：仅支持上传 本地文件、DataWorks数据分析的电子表格、阿里云对象存储OSS 的数据。本地文件：支持 CSV、XLSX 格式，CSV 文件最大支持上传数据的数据量为5GB，XLSX 文件...
详细操作步骤请参见 使用数据集成迁移数据至分析型数据库MySQL版。通过Kettle将关系型数据库、Hbase等NoSQL数据源，以及Excel、Access中的数据导入分析型数据库MySQL版中，详细操作步骤请参见 使用kettle将本地数据导入分析型数据库MySQL版...
为什么选择数据管理DMS 全域数据资产：支持企业全域数据资产管理，提供贯穿数据生命周期的质量治理与安全治理，帮助企业快速地查找数据，高效地使用数据。数据集成：支持常见数据源的实时、离线数据集成，数据集成过程中支持灵活自定义数据...
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
资产类目 帮助您对表进行分类，便于管理人员、开发人员及运维人员能更好地管理或使用数据表。SQL窗口 单库查询 在单库查询中可以手动写SQL进行单库查询，适用于业务代码上线数据验证、产品效果数据分析、线上问题排查定位等场景。跨库查询 ...
说明 如在2022年6月1日前未授权 数据分析师 角色权限，则在此之前仅具有 访客 及 自定义角色 的用户将无法继续使用数据分析产品。除 访客 及 自定义角色 外的其他角色，默认拥有数据分析产品操作权限，该类角色仍然可以正常使用数据分析...
独享数据服务资源组 独享数据服务资源组计费说明：包年包月 2023.11.21 新增功能 数据保护伞 使用数据保护伞识别敏感数据时，可基于脱敏场景配置数据脱敏规则。数据保护伞默认提供了 数据开发/数据地图展示脱敏、数据集成静态脱敏 等多种...
解决方案：使用 数据水印 功能生成的水印信息需要提供充足的数据量，才能保证通过溯源任务还原出可靠的水印信息，进而定位出可能的数据泄露责任人。建议您使用数据量大于500条，并且不包含重复数据的文件进行溯源。原因二：被泄漏的数据非...
E-MapReduce HDFS文件系统上的数据，需要使用数据迁移工具hadoop distcp进行数据迁移，详情请参见 从自建HDFS迁移数据。执行下面的指令将E-MapReduce HDFS全部数据迁移到文件引擎，实例ID为文件引擎的实例ID，根据实际情况修改。hadoop ...
企业管理员使用数据域可以基于业务属性、组织架构、数据特征等维度对数据资产进行分类管理。通过将拥有共同属性的数据资产集中到同一个数据域中，管理员可以高效管理数据资产及资产中的敏感数据。本文介绍首次使用数据域功能的具体操作。...
使用指引 如果您是第一次使用数据库网关，您可以参考下述步骤开始使用：准备工作 新建数据库网关 添加数据库 为什么选择数据库网关 数据库网关提供安全可靠、低成本的数据库接入服务，通过数据库网关您可以安全且低成本地将第三方云或本地...
如果您需要使用数据源为API，直接在数据配置栏输入API即可。具体配置API数据源时，是否勾选 服务器代理请求 等操作，详情请参见 跨域数据配置。操作步骤 登录 DataV控制台。在 我的可视化 页面内，单击 名单抽奖 可视化应用，进入画布编辑...
可以在仪表盘中使用数据集变量对数据进行筛选。定义变量 登录 数据管理DMS 5.0。在顶部菜单栏中，选择 集成与开发（DTS）>数据应用>数据分析。进入 数据分析 页面，单击 数据集 页签。选择目标数据集行，单击 操作 列下的 图标，进入编辑...
使用数据归档功能 通过如下步骤，您可以开启数据归档功能，并使用数据归档功能来实现在线数据库与冷存数据库之间的转换。步骤一：开启 数据归档 在实例售卖页或实例详情页开启该功能：实例售卖页 点此打开RDS实例新版创建页面。选择存储...
说明 若源端为DTS同步方案暂不支持的数据库类型（即在源端 数据库类型 中没有您数据库的选项），可以尝试使用数据投递功能。更多信息，请参见 数据投递。源为自建MySQL或RDS MySQL的同步方案 重要 PolarDB-X 1.0中的数据库须基于RDS MySQL...
使用数据工作站功能可以提高数据交付效率和数据自助分析效率。数据工作站 2023年 11月 功能名称 变更类型 功能描述 相关文档 SQL备份与回滚 新增 使用DMS的SQL备份与回滚功能，快速将数据恢复到变更前的状态。SQL备份与回滚（公测中）SQL...
如果您需要对RDS实例中的敏感数据进行管控和脱敏，可以使用数据管理DMS提供的敏感数据保护功能。费用 请参见 敏感数据保护功能定价。功能介绍 数据管理DMS的敏感数据管理提供如下功能：提供敏感数据资产大盘，解决企业敏感数据分布的统一纳...
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源...
数据预览：若有当前表的查询权限，可以使用数据预览功能，否则需先申请查询权限。如何申请，请参见 申请、续期和交还表权限。说明 数据预览为您展示20条抽样查询数据。③ 血缘&影响 血缘 为您展示表、字段之间的血缘关系。表级血缘 来源...