支持采集Logstash、Flume、Beats、FluentD、Telegraf等开源软件中的数据。支持通过HTTP、HTTPS、Syslog、Kafka、Prometheus等标准协议接入数据。更多信息，请参见 数据采集概述。查询与分析 日志服务支持实时查询与分析数据。具体说明如下...
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 JindoData 4.6.11 Flume 1.9.0 Kyuubi 1.7....
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 Hive 2.3.9 Spark2 2.4.8 Spark3 3.4.2 YARN 2.8.5 Trino 422 DeltaLake 3.0.0 Hudi 0.14.0 Iceberg 1.5.0 Flume 1.11.0 Kyuubi 1.7.3 Tez 0.10.2 ...
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 Hive 3.1.3 Spark2 2.4.8 Spark3 3.4.2 Tez 0.10.2 Trino 422 DeltaLake 3.0.0 Hudi 0.14.0 Iceberg 1.5.0 Flume 1.11.0 Kyuubi 1.7.3 YARN 3.2.1 ...
Auth 2.0.2 Zookeeper 3.6.3 Flume 1.9.0 OLAP集群 服务 版本 Zookeeper 3.6.3 ClickHouse 21.8.15.7 Doris 1.1.5 StarRocks 2.3.4 DataFlow集群 服务 版本 HDFS 2.8.5 YARN 2.8.5 Knox 1.5.0 OpenLDAP 2.4.44 Ranger 1.2.0 Zookeeper 3.6....
本文介绍5.10.x版本的发布日期、更新内容和发行...Auth 2.0.2 Zookeeper 3.6.3 Flink 1.15_vvr_6.0.2 Flume 1.9.0 HBase 2.4.9 JindoData 4.6.2 Knox 1.5.0 Kudu 1.14.0 Kyuubi 1.6.0 Phoenix 5.1.2 RSS 0.1.4 Sqoop 1.4.7 StarRocks 2.4.1
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 Flume 1.9.0 Kyuubi 1.7.1 YARN 3.2.1 ...
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 YARN 2.8.5 Trino 422 DeltaLake 2.2.0 Hudi 0.13.1 Iceberg 1.1.0 Flume 1.9.0 Kyuubi 1.7.1 Tez 0.10.2 ...
2.产品功能 2.1 数据接入 提供多种SDK、API和Flume、Logstash等第三方插件，让您高效便捷的把数据接入到数据总线。2.2 数据投递 提供DataConnector模块，稍作配置即可把接入的数据实时同步到下游MaxCompute、OSS、TableStore等存储分析系统...
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 3.2.1 HDFS 3.2.1 OSS-HDFS 1.0.0 YARN 3.2.1 Hive 3.1.3 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
发行版本信息 DataLake集群 服务 版本 Hadoop-Common 2.8.5 HDFS 2.8.5 OSS-HDFS 1.0.0 YARN 2.8.5 Hive 2.3.9 Spark2 2.4.8 Spark3 3.3.1 Tez 0.10.2 Trino 389 DeltaLake 2.2.0 Hudi 0.12.2 Iceberg 1.1.0 JindoData 4.6.5 Flume 1.9.0 ...
Flume 适配JindoSDK。Impala 适配JindoSDK。Ranger 支持Spark 3.2.0版本。支持Presto 358版本。HBase 修复了默认参数存在的问题。修复了GC日志日期格式问题。Clickhouse 新增HDFS和OSS磁盘类型，支持数据冷热分离，详情请参见 使用HDFS进行...
Flume 适配JindoSDK。Flink 默认将Flink的 lib 目录上传到HDFS集群，方便用户通过 yarn.provided.lib.dirs 参数使用。适配JindoSDK。Impala 适配JindoSDK。Ranger 修复Spark History Server启动失败的问题。适配JindoSDK。HBase 修复了默认...
Auth 2.0.0 Zookeeper 3.6.3 Flink EMR-5.9.1版本：1.13_vvr_4.0.15 EMR-5.9.0版本：1.13_vvr_4.0.13 Flume 1.9.0 HBase 2.4.9 JindoData EMR-5.9.1版本：4.6.0 EMR-5.9.0版本：4.5.1 Knox 1.5.0 Kudu 1.14.0 Kyuubi 1.5.2 Phoenix 5.1.2 ...
4.6.4 Flume 1.9.0 Kyuubi 1.6.1 Knox 1.5.0 Impala 4.2.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Sqoop 1.4.7 DLF-Auth 2.0.2 Presto 0.278.3 Zookeeper 3.6.3 Celeborn 0.2.0 Flink-Table-Store EMR-5.11.1版本：0.3-ali-2 ...
Auth 2.0.0 Zookeeper 3.6.3 Flink EMR-3.43.1版本：1.13_vvr_4.0.15 EMR-3.43.0版本：1.13_vvr_4.0.13 Flume 1.9.0 HBase 1.7.1 Knox 1.5.0 JindoData EMR-3.43.1版本：4.6.0 EMR-3.43.0版本：4.5.1 Kudu 1.14.0 Kyuubi 1.5.2 Phoenix 4....
4.6.4 Flume 1.9.0 Kyuubi 1.6.1 Knox 1.5.0 OpenLDAP 2.4.46 Ranger 2.3.0 Ranger-plugin 1.0.0 Sqoop 1.4.7 DLF-Auth 2.0.2 Presto 0.278.3 Zookeeper 3.6.3 Celeborn 0.2.0 Flink-Table-Store EMR-3.45.1版本：0.3-ali-2 EMR-3.45.0版本...
各种Connectors：包括Hadoop connector、Flink connector和TensorFlow connector，支持Kite SDK、Apache Beams、Flume、Sqoop和Kafka。SmartData目前通过JindoFS和JindoTable支持的数据源，包括阿里云OSS、Apache Hadoop HDFS、Hive数仓和...
适用于高可靠写入场景，例如Flume。优化OSS Rename操作性能，结合OSS服务端提升Rename操作的执行时间。优化OSS多版本下的List操作性能，避免Bucket多版本下大量临时文件影响目录的List性能。优化OSS多版本JindoMagicCommitter性能，新增...
除了通过MaxCompute客户端导入数据，您也可以使用MaxCompute Studio、Tunnel SDK、数据集成、开源的Sqoop、Fluentd、Flume、Logstash等工具将数据导入到MaxCompute，更多信息请参见 数据上云工具。误删除表数据如何恢复？MaxCompute提供...
本文介绍EMR-3.23.x发行版本的发布日期和更新内容等信息。发布日期 EMR-3.23.0 2019年09月18日 更新内容 服务 变更点 Druid 升级至0.15.1。...Flume 升级fastjson。Tensorflow on Spark 新增服务。Has 升级fastjson。Livy 升级fastjson。
阿里云开源大数据平台E-...支持日志投递的服务包括hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss和host（主机）。
Flume插件 OGG插件 Canal插件 Fluentd插件 数据订阅 数据订阅 目前用户在DataHub上消费Topic数据，为了做到“断点续消费”的功能，即消费者failover重启后可以继续从failover时间点继续获取数据，需要用户自己保存当前消费的点位信息，同时...
消费与投递：日志服务支持数据实时消费，适用于Storm消费、Flume消费、Flink消费等场景；支持数据实时投递，适用于将数据投递至OSS、TSDB等云产品。更多信息，请参见 投递概述 和 消费概述。日志审计：日志服务支持实时自动化、中心化采集...
LIVY"},{"ServiceName":"FLUME","ServiceEcmVersion":"1.9.0.2.0","ServiceVersion":"1.9.0-1.0.1","ServiceDisplayName":"FLUME"},{"ServiceName":"KUDU","ServiceEcmVersion":"1.10.0.2.0","ServiceVersion":"1.10.0",...
JindoCache√-Kyuubi√-Knox√Implala√OpenLDAP√Ranger√Sqoop√DLF-Auth√Zookeeper√RSS√Zeppelin 使用全托管Notebook√Flume√Oozie 使用全托管Workflow√Livy 使用Kyuubi√Superset-√Alluxio 使用JindoData√Kudu√Ganglia 使用...
本文介绍日志审计服务在采集到日志后的审计操作。前提条件 已完成日志审计...数据消费 使用第三方流计算系统实时消费日志，包括Storm、Flume、ARMS、Blink、Logstash、Spark streaming、Cloud Monitor或消费组等。更多信息，请参见 实时消费。
HDFS OssHdfsRuntime OssHdfsRuntime OssHdfsRuntime Hive HiveMetaStore ...Flume FlumeRuntime FlumeAgent FlumeRuntime FlumeAgent FlumeRuntime FlumeAgent Kyuubi KyuubiServer KyuubiRuntime KyuubiRuntime KyuubiRuntime YARN ...
HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.5.0 Bigboot 3.5.0 Hudi 0.6.0 OpenLDAP 2.4.44...Zeppelin 0.9.0 Flume 1.9.0 Livy 0.7.1 Superset 0.36.0 Ranger 2.1.0 Flink 1.10...
调用ListClusterInstalledService接口，查询集群当前已安装的服务列表信息。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 ...
支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host（主机）。注意事项 日志存储及索引流量费用...
HDFS 3.1.3 YARN 3.1.3 Hive 3.1.1 Spark 2.4.5 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 2.6.7 Bigboot 2.6.7 OpenLDAP 2.4.44 Hue 4.4.0 ... 0.14.0 Flume 1.9.0 Livy 0.6.0 Superset 0.28.1 Ranger 2.0.0 Flink 1.10...
支持日志投递的服务有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host（主机）。注意事项 日志存储及索引流量费用...
注意：对于使用DTS、以及Logstash插件、Flume插件、OGG插件、Fluentd插件写入DataHub，暂不支持SchemaRegister,用户需要通过SDK appendField接口 或者 console工具 进行添加 名词解释:版本号:Tuple类型Topic在创建完成后会自动生成版本号，...
p$mount_path/log/flume sudo chown root:root$mount_path/log/flume sudo chmod 755$mount_path/log/flume sudo mkdir-p$mount_path/log/gmetric sudo chown root:root$mount_path/log/gmetric sudo chmod 777$mount_path/log/gmetric ...
HDFS 3.2.1 YARN 3.2.1 Hive 3.1.2 Spark 2.4.7 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.2.0 Bigboot 3.2.0 Hudi 0.6.0 OpenLDAP 2.4.44...Zeppelin 0.9.0 Flume 1.9.0 Livy 0.6.0 Superset 0.36.0 Ranger 2.1.0 Flink 1.10...
2.0.1 Druid 0.20.1 0.20.0 HBase 1.4.9 1.4.9 Phoenix 4.14.1 4.14.1 Zookeeper 3.6.2 3.6.2 Livy 0.7.1 0.6.0 Presto 338 338 Storm 1.2.2 1.2.2 Impala 3.4.0 3.4.0 Flume 1.9.0 1.9.0 Hue 4.9.0 4.4.0 Oozie 5.1.0 5.1.0 Zeppelin 0.9....
HDFS 3.1.3 YARN 3.1.3 Hive 3.1.2 Spark 2.4.5 Knox 1.1.0 Tez 0.9.2 Ganglia 3.7.2 Sqoop 1.4.7 SmartData 3.1.0 Bigboot 3.1.0 Hudi 0.6.0 OpenLDAP 2.4.44... 0.14.0 Flume 1.9.0 Livy 0.6.0 Superset 0.36.0 Ranger 2.1.0 Flink 1.10...
除了SDK以外，数据总线 DataHub 还提供一些常用的客户端插件，包括：Fluentd，LogStash，Flume等。您可以使用这些客户端工具往数据总线 DataHub 里面写入流式数据。数据总线 DataHub 同时支持强Schema的结构化数据（创建Tuple类型的Topic）...