Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
使用Superset访问Hive数据库 Superset提供了SQLAlchemy以多种语言支持各种各样的数据库，包括MySQL、Oracle、PostgreSQL和Microsoft SQL Server等关系型数据库，以及Hive、Presto和Druid等大数据查询引擎。这里以E-MapReduce Hadoop集群...
解压后得到文件夹：user_behavior_data，包含item和user个文件夹，里面分别包含了各自的csv数据文件。本次分析主要集中在user文件中，数据内容如下。2.2 将文件上传至OSS。进入 OSS控制台，上传文件使用已有的Bucket，或创建新的Bucket。...
管理数据填报列表包括新建文件夹、重命名文件夹、删除文件夹。新建文件夹 进入数据填报页面。在 数据填报 管理页面，按照下图指引，新建文件夹。找到目标文件夹，单击 操作 列的 新建文件夹 图标，新建子文件夹。重命名文件夹 进入数据填报...
本文为您介绍如何新建、重命名和删除数据集文件夹。前提条件 您已创建一个数据集。请参见 创建并管理数据集。新建文件夹 登录 Quick BI控制台。按照图示方式进入数据集管理页面。在 数据集 管理页面，单击 新建文件夹。您也可以右键单击...
新建数据集文件夹 您可以创建数据集文件夹，将数据集放入不同的文件夹中，便于管理数据集。支持多级文件夹。操作步骤：选择工作空间>配置管理>数据中心>数据集，进入数据集管理页面。在数据集管理页面单击右上角 新建>文件夹。如需创建子...
调用CreateDataServiceFolder创建数据服务文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String...
SQL任务类型，用于连接数据库并执行...SQL任务节点设置中，数据源类型选择为 HIVE，数据源实例 选择已添加的HIVE数据源（与上述非查询类SQL任务示例中选择的数据源保持一致），SQL类型 选择为 查询，SQL语句 内容如下。select*from hive_table
调用ListDataServiceFolders查询数据服务文件夹列表。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action ...
调用GetDataServiceFolder查询数据服务文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是...
DataFrame可以从一系列广泛的源构建，例如：结构化数据文件、Hive中的表、外部数据库或现有RDD。DataFrame API有Scala、Java、Python和R版本。在Scala和Java中，DataFrame由行数据集表示。在Scala API中，DataFrame只是Dataset[Row]的类型...
Ranger支持对Hive数据按行进行过滤（Row Level Filter），即可以对Select返回的结果按行进行过滤，只显示满足指定条件的行。本文介绍如何将Hive数据按行进行过滤。前提条件 已创建集群，并选择了Ranger服务，详情请参见 创建集群。已创建按...
Ranger支持对Hive数据的脱敏处理（Data Masking），即可以对Select的返回结果脱敏，以屏蔽敏感信息。背景信息 该功能只针对HiveServer2的场景（例如，Beeline、JDBC和Hue等途径执行的Select语句）。操作步骤 说明 本文Ranger截图以2.1.0...
按需加载 CPFS文件系统与OSS Bucket建立数据流动后，当您访问CPFS目录或文件时会按需从OSS上加载需要的元数据或数据。例如，执行 ls 命令列出与OSS Bucket链接的目录时，会按需从OSS加载目录项的元数据，在访问文件时会按需从OSS加载文件的...
本文档介绍在DataV中添加静态数据文件的方法。前提条件 已准备好待添加的静态数据文件。操作步骤 登录 DataV控制台。在 工作台 页面中，将鼠标移动至需要编辑的数据看板上，单击 编辑。重要 如果您的 工作台 页面内还没有创建任何数据看板...
您可以基于HDFS文件和Hive JDBC两种方式读取数据：基于HDFS文件读取数据 Hive Reader插件通过访问HiveMetastore服务，解析出您配置的数据表的HDFS文件存储路径、文件格式、分隔符等信息后，再通过读取HDFS文件的方式读取Hive中的表数据。...
如果指定文件夹，图数据库GDB实例将加载文件夹中的每个数据文件，但不包含子文件夹下的文件。文件夹中可以包含多个点文件和多个边文件。加载过程中先加载点文件，且会自动跳过边文件和非点文件。URI可以采用以下两种格式：（推荐）oss:/...
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
添加完成数据文件后，在跳转后的添加数据对话框，选择数据的分组、输入数据集的名称、选择数据的类型和数据的服务地址，单击对话框右下角的 创建数据集 即可完成三维瓦片数据的添加。说明 当数据量较大时解析时间会比较长，您可以先关闭弹...
产品名称 Dataphin 产品模块 数据集成 概述 通过该问题的分析处理过程，提供以下场景问题处理排查思路和注意点：管道任务数据集成到hive之后，hive库查询集成数据为空 问题描述 将本地csv文件数据集成到hive库中，任务运行成功，但是查询...
AnalyticDB MySQL 湖仓版（3.0）基础版的Spark全密态计算引擎可以加密敏感数据，并将数据以密文的形式传输和存储，只有密钥拥有者才能解密数据，避免数据泄露。本文 以云数据库RDS MySQL例，介绍使用基础版Spark全密态计算引擎加密数据，...
前提条件 请确保您的网络连通性：您通过公网连接Quick BI与Hive数据库，请添加 Quick BI的IP地址 至数据库白名单，请参见 添加安全组规则。您通过内网连接Quick BI与Hive数据库，请搭建跳板机，并通过SSH隧道访问登录并访问数据库。已创建...
1级 DeleteFolder 调用DeleteFolder删除数据开发页面的文件夹。3级 DeleteFile 调用DeleteFile删除数据开发中的文件。3级 GetDeployment 调用GetDeployment获取发布包的详情。1级 UpdateFile 调用UpdateFile更新文件。2级 GetFolder 调用...
E-MapReduce（简称EMR）的EMR-5.8.0及之后版本的集群（对应StarRocks 2.3及之后的版本）支持查询元数据类型为DLF的外表。...相关文档 如果使用Hive MetaStore，请参见 Hive数据源、Iceberg数据源、Hudi数据源、Delta Lake数据源。
空间数据提供对矢量、栅格、矢量瓦片、栅格瓦片、三维模型、倾斜摄影、BIM、点云等数据的添加，支持通过上传文件和对象存储两种通用的方式添加数据。本文主要介绍如何添加各类空间数据。前提条件 已在云存储上存储了数据文件。背景信息 ...
功能特性 批量快速导入数据功能支持数据文件旁路加载，不需要经过数据API写入链路并且不需要占用实例计算资源,批量快速导入数据与通过API导入数据相比有以下优势：导入数据更快，速度可以提升10倍以上。在线服务更稳定，不占用在线服务资源...
删除数据连接 在文件夹层级或数据源层级，单击右上角 图标下的 删除数据连接，在 删除数据连接 确认窗口中单击 确定。搜索数据库/文件夹 在当前层级的搜索框中输入需要查看的名称，按 Enter 键查看搜索结果。查看表 在左侧数据树选择需要...
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 我的数据 页签中选择 数据源管理，单击 添加数据。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂时不支持上传超出512KB的CSV...
前提条件 已准备好待添加的CSV文件数据源。操作步骤 登录 DataV控制台。在 工作台 页面，单击 数据准备>数据源，进入 数据源 页面，单击 新建数据源。从 类型 列表中，选择 CSV文件。上传CSV文件。说明 CSV文件大小不能超过 512KB，暂不...
从阿里云对象存储OSS导入数据至图数据库GDB实例 图数据库GDB服务端集成有数据导入模块，可以获取您提供的.csv格式的OSS数据文件，并将其解析为图中的点数据和边数据，然后将点数据和边数据导入至图数据库GDB实例。步骤 步骤说明 ① 将需要...
删除（Evict）将释放CPFS上文件的数据，删除后文件在CPFS上只保留元数据，您仍能看到该文件，但文件的数据块已清除，不占用CPFS上的存储空间，访问该文件数据时，再从源端存储（例如OSS）按需加载。说明 删除前，请务必确认对应文件在OSS上...
前提条件 已添加文件类矢量数据，具体操作，请参见 添加文件类矢量数据。已添加空间数据库，具体操作，请参见 新建Spatial Data Source云计算资源。操作步骤 登录 数据资源平台控制台。在页面左上角，单击 图标，选择 协同。在顶部菜单栏，...
文件夹 文件夹模块可以存放新建的临时查询，方便您管理临时查询。单击左侧菜单栏 SQL Console>新建>文件夹，创建一个文件夹。您可以在该文件夹里新建临时查询，使用标准的SQL语句完成对表的命令操作。同时您也可以选中文件夹中的某张表，右...
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
入库任务 支持将Shapefile、GeoJSON和CSV文件类矢量数据添加到系统默认的空间数据库或者指定的PostGIS、Ganos数据库，方便对空间数据库进行空间检索、数据质检、血缘记录，打通数据计算引擎链路，使得空间数据被用于数仓建设、标签管理等...
实现示例如下：示例：通过内置文本数据解析器将数据写入OSS-非分区路径 示例：通过内置文本数据解析器将数据写入OSS-分区路径 示例：通过内置文本数据解析器将数据以压缩方式写入OSS 示例：通过内置开源数据解析器将数据写入OSS 通过自定义...
数据源类型 数据源 说明 数据库类 说明 如果您在其它地域，或者没有使用阿里云数据库，想连接自建数据库，那就需要暴露数据库的公网IP进行连接。DataV当前不支持IP白名单，如果您担心安全性问题，可以使用阿里云提供的数据库连接代理工具来...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
本文为您介绍如何新建、编辑或删除数据库。前提条件 已创建工作空间，详情请参见 管理工作空间。已创建EMR on ECS形态下的集群或Serverless StarRocks实例，详情请参见 创建集群 或 创建实例。支持的集群类型为DataLake、Hadoop和自定义...
Windows数据库：进入数据文件所在文件夹，鼠标右键单击空白处并单击属性进行查看。备份数据量 通过备份链路的实际数据大小，与数据文件空间不同，备份数据量取决于数据库类型、备份方式、备份粒度等因素。存储数据量 存放存储介质的实际...