本文以E-MapReduce的Hive为例，为您介绍在MaxCompute中如何创建外部项目，并查询Hadoop中的表数据。使用限制 仅华东1（杭州）、华东2（上海）、华北2（北京）、华北3（张家口）、华南1（深圳）、中国香港、新加坡和德国（法兰克福）地域...
基于Hadoop外部数据源的外部项目操作 按照如下命令，查询Hadoop中Hive表数据。执行作业需要在普通项目下，不能是外部项目。use;访问阿里云E-MapReduce表必须设置，访问MaxCompute内部表不需要。set odps.sql.hive.compatible=true;指定写出...
数据组织优化 2023-06-26 新增TimeTravel查询与Incremental查询 新说明 对于Transaction Table2.0类型的表，MaxCompute支持查询回溯到源表某个历史时间或者版本进行历史Snapshot查询（TimeTravel查询），也支持指定源表某个历史时间区间...
当您基于Hadoop进行交互式大数据分析查询，遇到查询延迟的问题时，可以将数据同步至阿里云Elasticsearch中再进行查询分析。ES对于多种查询类型，特别是即席查询（Ad Hoc），基本可以达到秒级响应。本文介绍通过DataWorks的数据集成服务，...
Impala为存储在Apache Hadoop中的数据，提供了高性能和低延迟的SQL查询。使用Impala，您可以通过SELECT、JOIN和聚合函数实时查询存储在HDFS或HBase中的数据。背景信息 Impala使用与Apache Hive相同的元数据、SQL语法（Hive SQL）和ODBC驱动...
通过即席查询您可以根据当前的业务情况自定义并执行查询语句和下载查询的数据。例如，当完成计算任务开发后，您可以通过即席查询验证计算任务是否符合预期。本文为您介绍如何新建即席查询并下载结果数据。背景信息 即席查询任务使用您当前...
hdfs:/emr-header-1.cluster-125428:9000/user/hive/warehouse/analysis_logs.db/original_log_sh_partitioned|-1|org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat|3|29|22|org.apache.hadoop.mapred.TextInputFormat|...
配置项 spark.hadoop.odps.cupid.volume.paths=odps:/ms_proj1_dev/volume_yyy1/spark.hadoop.odps.volume.common.filesystem=true spark.hadoop.fs.odps.impl=org.apache.hadoop.fs.aliyun.volume.OdpsVolumeFileSystem spark.hadoop.fs....
ls/tmp/cdc/staging_sales/Found 2 items-rw-r-2 hadoop hadoop 0 2019-11-26 11:11/tmp/cdc/staging_sales/_SUCCESS-rw-r-2 hadoop hadoop 93 2019-11-26 11:11/tmp/cdc/staging_sales/part-m-00000 为更新数据建立临时表，然后MERGE到...
如果您的Hadoop集群没有此功能，则需要开通EMR Doctor，详情请参见 开通EMR Doctor（Hadoop集群类型）。EMR Doctor在安装和升级过程中，是否会对集群组件和集群任务产生影响？EMR Doctor在安装和升级过程中不会重启任何服务，本身过程也...
本文介绍 云原生多模数据库 Lindorm 与其他开源数据库的区别。背景信息 云原生多模数据库 Lindorm 兼容...生态 开源大数据生态Hadoop/Spark等、阿里云数据生态 开源大数据生态Hadoop/Spark等 易用性 免运维，维护简单 有状态服务，维护较复杂
如果未开启Checkpoint，或者Checkpoint设置的间隔过大，在Kafka端可能会查询不到当前读取的Offset。为什么Flink和Kafka之间的网络是连通的，但是依然会有timeout expired while fetching topic metadata的报错？Flink和Kafka之间的网络连通...
Hive支持不同的存储格式，不同的存储格式对应了不同的应用场景，通常主流的列式格式会大大的节约存储成本，并提升查询效率。Hive库存储格式分布Top信息展示如下：库TextFile存储格式数据量分布Top 库Parquet存储格式数据量分布Top 库ORC...
由于每个StarRocks集群的机器环境不同且集群并发的查询任务也不同，所以StarRocks集群的最慢导入速度需要您根据历史的导入任务速度进行推测。max_filter_ratio 导入任务的最大容忍率，默认为0容忍，取值范围是0~1。当导入的错误率超过该值...
Impala如何高效查询OSS数据 Impala如何高效查询OSS数据 2021-06-08 Apache Impala是一个开源的大数据查询分析引擎，能够快速查询分析存储在Hadoop集群的PB级数据。如果您已将HDFS数据迁移至OSS中，可通过在Impala中使用JindoFS SDK，高效...
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
通过HDFS命令 hadoop fs-ls/logs/<user>/logs/查询。应用问题排查流程 检查App状态，通过App详情页或App REST API检查App状态。未找到App状态，可能原因：客户端向YARN提交之前失败退出：客户端组件问题（检查提交客户端日志：BRS、...
E-MapReduce的Flink Table Store服务支持在Trino中查询数据。本文通过示例为您介绍...trino-server master-1-1:9090-catalog tablestore-schema default-user hadoop 执行以下命令，查询刚刚写入的数据。USE test_db;SELECT*FROM test_tbl;
E-MapReduce支持在Trino中查询Paimon数据。本文通过示例为您介绍如何在Trino中查询Paimon...trino-server master-1-1:9090-catalog paimon-schema default-user hadoop 执行以下命令，查询刚刚写入的数据。USE test_db;SELECT*FROM test_tbl;
背景信息 Hive是基于Hadoop的一个数据仓库工具，用来进行数据的提取、转化、加载，可以存储、查询和分析存储在Hadoop中的大规模数据。Hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成...
您可以使用生成的select语句，在即席查询中查询表数据。查看DDL语句：单击查看表的DDL语句。查看转交记录：为您展示当前数据表最近100条负责人转交记录。查看权限列表：查看数据表权限信息。导出字段：导出表中字段信息，格式类型为CSV，...
智能存储 提供多种数据处理能力，例如图片处理、视频截帧、文档预览、图片场景识别、SQL查询等，并无缝对接Hadoop生态以及阿里云函数计算、EMR、DataLakeAnalytics、BatchCompute、MaxCompute、DBS等产品，满足企业数据分析与管理的需求。...
背景信息 HBase是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是HBase，在导出Dataphin数据至HBase，您需要先完成HBase数据源的创建。更多HBase信息，请参见 HBase官网。使用限制 Dataphin仅支持超级管理员、数据源管理...
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
解决方法：您需要在执行查询Hudi表的命令时，添加上 set hive.input.format=org.apache.hudi.hadoop.hive.HoodieCombineHiveInputFormat。Spark查询Hudi表分区裁剪不生效？问题原因：可能是在分区字段包含/（正斜线）的情况下，分区字段...
背景信息 Impala是用于处理存储在Hadoop集群中大量数据的SQL查询引擎。如果您使用的是Impala，在导出Dataphin数据至Impala，您需要先完成Impala数据源的创建。更多Impala信息，请参见 Impala官网。权限说明 Dataphin仅支持 超级管理员、...
您可以通过OSS SDK接入多种开源生态。...Apache Impala（CDH6）查询OSS数据 通过配置CDH6环境下的Hadoop、Hive、Spark、Impala等组件，以实现对接OSS进行数据查询操作。通过HDP 2.6 Hadoop读取和写入OSS数据 通过配置HDP 2.6实现读写OSS数据。
ES-Hadoop是Elasticsearch推出的专门用于对接Hadoop生态的工具，可以让数据在Elasticsearch和Hadoop之间双向移动，无缝衔接Elasticsearch与Hadoop服务，充分使用Elasticsearch的快速搜索及Hadoop批处理能力，实现交互式数据处理。...
背景信息 Apache Kylin是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据查询。关于更多信息，请参见 Kylin。操作步骤 登录 Quick BI控制台。请按照下述步骤添加数据...
如果Dataphin系统的计算引擎设置为Hadoop，则只有项目空间添加了Hadoop计算源，才支持规范建模、即席查询、Hive任务、通用脚本等功能。本文为您介绍如何新建Hadoop计算源。前提条件 在您开始执行操作前，请确认已满足以下要求：已设置...
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/hadoop 100Gi RWX Retain Bound default/hadoop 52m NAME STATUS ...persistentvolumeclaim/hadoop Bound hadoop 100Gi RWX 52m 从上述输出的查询信息...
因为E-MapReduce Druid也支持SQL，所以您可以通过Superset以两种方式访问E-MapReduce Druid，即Apache Druid原生查询语言和SQL方式。前提条件 已创建E-MapReduce（简称EMR）的Hadoop或Druid集群，并选择了Superset服务，详情请参见 创建...
相对于Hadoop社区OSS客户端，Spark使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已部署Apache Spark。...
相对于Hadoop社区OSS客户端，Impala使用JindoSDK查询OSS-HDFS服务中的数据时，可以获得更好的性能。前提条件 已创建ECS实例。具体步骤，请参见 选购ECS实例。已创建Hadoop环境。具体步骤，请参见 创建Hadoop运行环境。已开通并授权访问OSS-...
Hadoop 计算设置为Hadoop的租户支持创建以下计算源：离线计算源 Hadoop计算源：绑定Hadoop计算源的项目，支持规范建模、即席查询、Hive SQL任务、通用脚本等功能。创建Hadoop计算源，请参见 创建Hadoop计算源。实时计算源 Flink 计算源：...
21423964 4017 aaa 2501.9901650365096 21962236 2322 eio 2775.9021545044116 Time taken:2.894 seconds,Fetched 100 row(s)20/06/30 18:51:24 INFO[main]SparkSQLCLIDriver:Time taken:2.894 second 地理位置查询 地理位置查询包括地理...
WordCount样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount \ inputDir outputDir Grep样例${HADOOP_HOME}/bin/hadoop jar \${HADOOP_HOME}/share/hadoop/...
sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/yarn-env.sh' sudo sh-c 'echo"export JAVA_HOME=usr/java8">>/opt/hadoop/etc/hadoop/hadoop-env.sh' 执行以下命令，测试Hadoop是否安装成功。hadoop version 返回...