导入方式介绍 导入方式 描述 导入类型 Broker Load 通过Broker进程访问并读取外部数据源，然后采用MySQL协议向StarRocks创建导入作业。提交的作业将异步执行，您可以通过 SHOW LOAD 命令查看导入结果。Broker Load适用于源数据在Broker进程...
云数据库 SelectDB 版 的数据集成是用于将外部数据导入实例数据库的可视化工具。本文介绍如何使用 云数据库 SelectDB 版 的数据集成。前提条件 已创建 云数据库 SelectDB 版 实例。具体操作，请参见 创建实例。实例版本大于等于3.0.7。操作...
数据目录 是否支持从工作空间绑定的数据源添加 是否支持从账号已有数据源添加 MaxCompute（内部项目、外部项目）支持 支持 Hologres（内部数据库、外部数据库）支持 支持 DLF Catalog（DLF 1.0、DLF 2.0、DLF 2.5及更高版本）支持 支持 ...
在原实例的外部数据源管理页面，将恢复的新实例添加为同构数据源。具体操作请参见 同构数据源访问 文档的步骤一。在原实例中创建外表，映射到新实例中的单表。CREATE FOREIGN TABLE s01.t1(a int,b int)SERVER example_name OPTIONS(schema...
导入方式介绍 导入方式 描述 导入类型 Broker Load 通过Broker进程访问并读取外部数据源，然后采用MySQL协议向StarRocks创建导入作业。提交的作业将异步执行，您可以通过 SHOW LOAD 命令查看导入结果。Broker Load适用于源数据在Broker进程...
1.在源实例创建使用外部数据包装器postgres_fdw的服务器myserver，channel_name对应控制台创建的网络通道的名称chltest，dbname对应要访问目标集群的数据库名foodb：CREATE SERVER myserver FOREIGN DATA WRAPPER postgres_fdw OPTIONS...
your_external_datasource_name：在前一步骤MaxCompute中已创建的外部数据源名称，外部Schema归属的项目必须与外部数据源处于同一地域，示例为 hive_hdfs_mc。myhive：在准备Hive数据阶段创建的Hive数据库名称。步骤五：使用SQL访问Hadoop ...
external_data_source：上述已创建的 外部数据源 名称，外部Schema归属的项目必须与外部数据源处于同一地域。例如 dlf_oss_csv。dlf_data_catalogue：DLF数据目录ID。数据目录创建方法请参见 新建数据目录。例如 122*。dlf_database：DLF...
1.在源实例创建使用外部数据包装器postgres_fdw的服务器myserver，channel_name对应控制台创建的网络通道的名称chltest，dbname对应要访问目标集群的数据库名foodb：CREATE SERVER myserver FOREIGN DATA WRAPPER postgres_fdw OPTIONS...
映射方式 语法说明 功能说明 支持数据源 支持版本 适用场景 EXTERNAL DATABASE CREATE EXTERNAL DATABASE CREATE EXTERNAL SCHEMA CREATE EXTERNAL TABLE 在Hologres实例中创建一个外部数据库，来加载外部数据源的元数据到Hologres，方便在...
meta_names_mapping 否""如果外部数据源存在名称相同只有大小写不同的情况，例如 DORIS 和 doris，Doris 由于歧义而在查询 Catalog 时报错，此时需要配置 meta_names_mapping 参数来解决冲突。具体操作，请参见 小写名称同步。重要 此参数...
云数据库 SelectDB 版 支持联邦查询，能够快速集成数据湖、数据库、远端文件等外部数据源，为您提供简便而高效的数据分析体验。本文介绍 SelectDB 如何使用Catalog集成Hive数据源，对Hive数据源进行联邦分析。前提条件 确保Hive集群所有...
数据源是将外部数据系统（如数据库、存储服务）的连接信息统一注册到DataWorks的平台对象。创建数据源后，您即可在DataWorks平台内引用该数据源，进行数据读写操作。DataWorks支持多种数据源类型，覆盖了主流数据库、大数据存储及消息队列...
lower_case_table_names 否"false"指定是否以小写的形式同步JDBC外部数据源的库名和表名。only_specified_database 否"false"指定是否只同步指定的Database。include_database_list 否""当 only_specified_database=true 时，指定同步多个...
创建Spark外部表加载OSS数据 数据通过离线集成任务同步至私有OSS数据源后，基于生成的OSS文件，通过Spark SQL的 create 语法创建 ods_raw_log_d_spark 与 ods_user_info_d_spark 表，并通过 LOCATION 来获取OSS中的用户信息文件、用户日志...
若您需要通过 AnalyticDB PostgreSQL版 访问外部异构数据源（HDFS、Hive和JDBC）时，可以使用异构数据源访问功能将外部数据转换为 AnalyticDB PostgreSQL版 数据库优化后的格式进行查询和分析。功能说明 外部数据源管理提供高性能的结构化...
spark.adb.roleArn 跨账号访问外部数据源时使用的RAM角色。多个角色之间使用英文逗号（,）隔开。格式为 acs:ram:testAccountID:role/testUserName。testAccountID：外部数据源所在的阿里云账号ID。testUserName：跨账号授权时，所创建的RAM...
创建Spark外部表加载OSS数据 数据通过离线集成任务同步至私有OSS数据源后，基于生成的OSS文件，通过Spark SQL的 create 语法创建 ods_raw_log_d_spark 与 ods_user_info_d_spark 表，并通过 LOCATION 来获取OSS中的用户信息文件、用户日志...
存储数据库：选择调用明细日志的存储位置，支持 系统内置存储 和 外部数据源。系统内置存储：支持分别存储成功和失败的调用明细日志50万条。成功日志支持存储3天，失败日志支持存储7天，不可修改。外部数据源：支持分别存储成功和失败的...
外部数据源适用于存储时间较长的场景，如5分钟调用统计日志，可用于排查API的调用错误。Dataphin元数据仓库共享模型 数据服务调用次数统计表 dws_dataphin_service_api_mi 仅记录从内置存储采集的API调用统计日志；若日志存储为外部存储，...
该功能允许您将不同实例作为外部数据源做联合查询，在保证数据实时性的同时，有效减少数据冗余。跨实例查询涉及至少两个实例。为了区分，本文将发起查询的实例称为本地实例，作为外部数据源的实例称为远程实例。版本限制 内核版本为v6.6.0....
通过数据迁移服务MMS（MaxCompute Migration Service）迁移数据前，需新增并启动BigQuery数据源，确保数据源与MMS服务网络连通，并将BigQuery的元数据同步至MMS服务，以便配置后续的迁移作业。...外部数据源配置完成后，创建迁移作业。
步骤一：外部数据源准备 准备Databricks的个人访问令牌。创建个人访问令牌，详情请参考 Databricks personal access token authentication。权限配置，执行数据迁移的个人访问令牌对要迁移的目录至少具备如下权限：浏览：BROWSE 执行：...
通过外表导入数据 AnalyticDB for MySQL 内置不同数据源的访问链路，支持通过创建外表来映射外部数据源，并发地读取外部数据并导入到 AnalyticDB for MySQL。通过外表导入数据会最大限度地利用集群资源，实现高性能数据导入。基本特性 适合...
Hologres支持通过 CREATE USER MAPPING 命令指定其他用户身份来访问DLF和OSS，如：foreign server的Owner可以通过 CREATE USER MAPPING 指定RAM用户123xxx来访问OSS外部数据。查询时请确保该账号有对应外部数据的查询权限。详细原理请参见 ...
MaxCompute提供多种渠道，以便您从业务系统或外部数据源写入数据到MaxCompute，或者从MaxCompute写出数据到外部系统或外部数据源。数据传输渠道 SDK-Tunnel渠道 外表（湖仓一体）JDBC渠道 场景数据写入MaxCompute 离线数据批量写入（数据...
创建外部查询MaxCompute数据是通过外部服务器来实现的，您可以直接调用Hologres底层已创建的名为 odps_server 的外部表服务器。其详细原理请参见 Postgres FDW。您也可以使用SQL语句批量创建外部表。IMPORT FOREIGN SCHEMA public_data ...
本文为您介绍使用SQL方式将映射到Hologres外部表的OSS数据湖数据导入Hologres内部表，并直接查询内部表数据。前提条件 您已完成DLF数据湖的构建和环境配置并通过Hologres外部表能正常读取OSS数据湖，详情请参见 OSS数据湖使用说明。导入...
数据目录（外部）：管理外部数据目录的访问权限，确保用户只能访问其授权范围内的外部数据源。例如，Hive、Iceberg、Hudi等。数据库：控制用户对特定数据库的创建、修改、删除或查询权限。数据表：实现表级权限管理，限制用户对特定表的增...
执行以下语句，创建外部数据库。示例如下：CREATE EXTERNAL DATABASE adb_external_db;创建外表。示例如下：重要 AnalyticDB for MySQL 的外表和MongoDB文档中的字段（field）名称、字段数量、字段顺序、数据类型必须相同。CREATE EXTERNAL...
如果 AnalyticDB for MySQL 2.0集群的Meta表存有导入数据到MaxCompute的记录，可以将MaxCompute数据导入到 企业版 的外部数据目录。执行以下命令创建部数据目录：CREATE EXTERNAL CATALOG catalog_name properties('connector.name'='mysql...
外部数据包装器FDW（FOREIGN DATA WRAPPER）是PostgreSQL提供用于访问外部数据的插件，外部数据源包括集群中其他数据库中的数据或其他实例中的数据。Ganos FDW提供对多种空间数据类型的统一访问，可以自动将几何空间数据类型映射为Geometry...
外部数据包装器FDW（FOREIGN DATA WRAPPER）是PostgreSQL提供用于访问外部数据的插件，外部数据源包括集群中其他数据库中的数据或其他实例中的数据。Ganos FDW提供对多种空间数据类型的统一访问，可以自动将几何空间数据类型映射为Geometry...
使用StarRocks外部表同步数据 方案介绍 该方案是通过StarRocks的外部表，将源集群数据同步至目标集群；通过JDBC方式，在目标集群创建目标表，在源集群创建外部表，将数据插入外部表实现数据迁移。适用场景 适用于单表数据迁移的场景。如果...
支持的Catalog 传统数据湖/仓 管理Paimon Catalog 管理Hive Catalog 管理DLF Catalog 关系型/分析型数据库 管理MySQL Catalog 管理AnalyticDB for MySQL（ADB）Catalog 管理Hologres Catalog 管理StarRocks Catalog 消息型/非关系数据源 ...
重要 在 数据源及目标端配置 中，若 存储格式 为 PAIMON，已有数据库需满足以下条件，否则数据同步任务会失败：必须是外部数据库，即建库语句必须为 CREATE EXTERNAL DATABASE 数据库名。建库语句DBPROPERTIES参数中必须有 catalog 属性，...
重要 在 数据源及目标端配置 中，若 存储格式 为 PAIMON，已有数据库需满足以下条件，否则数据同步任务会失败：必须是外部数据库，即建库语句必须为 CREATE EXTERNAL DATABASE 数据库名。建库语句DBPROPERTIES参数中必须有 catalog 属性，...
外部表的自动刷新：在类似于Apache Hive或Apache Iceberg这样的外部数据源中，数据往往以分区的粒度进行变更。StarRocks的物化视图可以订阅外表分区级别的数据更新，只刷新物化视图的相应分区。TTL：在为物化视图设置分区策略时，您可以...
本文为您介绍如何通过MaxCompute外部表能力，将SNAPPY压缩文件数据（以半角逗号分隔）从OSS迁移至MaxCompute。前提条件 已开通MaxCompute并创建项目，详情请参见 创建MaxCompute项目。已开通OSS并创建存储空间，且Bucket中有压缩数据SNAPPY...
external_data_source：上述已创建的 外部数据源 名称，外部Schema归属的项目必须与外部数据源处于同一地域。例如 mysql_paimon_dlf。dlf_data_catalogue：DLF数据目录ID。数据目录创建方法请参见 新建数据目录。例如 db_dlf_oss。dlf_...