阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。兼容POSIX文件接口，可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可无缝迁移业务系统上云。
无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括阿里云EMR和阿里云Flink。文件存储 HDFS 版 支持的原生文件系统语义被开发人员...
部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 文件存储 HDFS 版 服务。具体操作，请参见 开通文件存储HDFS版服务。已购买ECS实例。更多信息，请参见 选购ECS...
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统。NAS兼容了POSIX文件接口，可支持数千台计算节点共享访问，可以挂载到弹性计算ECS、神龙裸金属、容器服务ACK、弹性容器ECI、批量计算BCS、高性能计算EHPC及AI训练PAI等...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
批次信息：因为分布式文件系统的元数据会跟随用户的使用发生变化，所以我们每次对元数据进行分析是基于命令执行当时的元数据信息的快照进行的。每次运行Jindo命令进行上传会在目录下，根据上传时间生成对应批次号作为本次上传文件的根目录...
阿里云 NAS 阿里云文件存储 NAS（Apsara File Storage）是面向云服务器 ECS 实例、容器服务等计算节点的文件存储服务，是一种可共享访问、弹性扩展、高可靠、高性能的分布式文件系统。它的读写性能相较于对象存储 OSS 而言较高。使用说明 ...
Deep storage可以是本地，也可以是HDFS等分布式文件系统。Indexing service包含以下两个组件：Overlord组件负责索引任务的管理、分发。MiddleManager负责索引任务的具体执行。Druid segments（Druid索引文件）管理层涉及以下组件：...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请...
说明 在脚本中进行写入操作时，请注意：支持将数据写入远程存储系统，如阿里云OSS、HDFS等分布式文件系统。暂不支持将数据写入本地集群文件系统，请避免在脚本中直接操作本地路径。例如，/tmp/local_file.txt。资源 选择任务执行时所需的...
数据文件以不同的格式存储在分布式文件系统或对象存储系统中。当FE将生成的查询计划分发给各个BE（或CN）后，各个BE（或CN）会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。使用Catalog 方式一：您可以在SQL Editor中...
目前StarRocks支持以下存储系统和元数据服务：分布式文件系统（HDFS）或阿里云对象存储OSS。元数据服务。当前支持的元数据服务包括Hive Metastore（以下简称HMS）、数据湖构建（DLF）。使用说明 StarRocks查询Delta Lake数据时，支持...
目前，StarRocks支持下列存储系统和元数据服务：分布式文件系统（HDFS）或阿里云对象存储OSS。元数据服务。当前支持的元数据服务包括数据湖构建（DLF）和Hive Metastore（以下简称HMS）。使用限制 StarRocks查询Hudi数据时，支持Parquet...
特性 Lindorm文件引擎 开源HDFS 功能定位 分布式文件系统 分布式文件系统 HDFS兼容性 HDFS通信协议 支持 支持 基础读写接口 完整支持 完整支持 高级管理接口 完整支持 完整支持 成本 存储单价（实际费用以购买页面为准）最低0.12元/GB/月 ...
分布式事务是保障金融级分布式系统数据一致性的核心技术。本文系统阐述了其核心概念、功能特性、产品优势及应用场景，为构建高可靠、高一致的分布式业务系统奠定基础。
分布式事务 distributed transaction 事务的发起者、资源及资源管理器和事务协调者分别位于不同的分布式系统的不同节点之上。分支事务 action 一个分布式事务可能包含多个数据库本地事务，在分布式事务框架下，分支事务可能是一个分库上...
分布式中间件 蚂蚁分布式中间件的产品发展路径，一直秉承引领和拥抱业界先进标准和实践，同时亦能满足传统金融架构的平滑迁移、融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
组件类型 组件名称 组件说明 常用文档 自研 OSS-HDFS OSS-HDFS 是一种兼容 Hadoop 分布式文件系统接口的对象存储解决方案，支持大数据计算任务通过标准HDFS协议直接访问阿里云 OSS的数据。OSS/OSS-HDFS概述 OSS/OSS-HDFS快速入门 访问OSS...
任务调度 提供分布式任务调度框架，实现任务的分布式处理，并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨，是一款具备高可靠、...
完成云平台 PaaS 层建设，构建分布式系统上下游生态，实现分布式云原生架构体系 实现分布式云原生架构体系，需要从技术规范、基础设施、生产力工具、组织流程等各个方面进行持续革新：建立一个面向分布式架构的开发平台和运行平台，结合...
建立金融级的在线交易系统，第一步是要实现金融级分布式的架构。蚂蚁在这方面的代表技术是 SOFAStack 和 OceanBase，目前都已对外商业化，并有丰富的案例。SOFAStack 代表的是在整个应用层或者无状态服务这个面上，如何去做可伸缩、可扩展...
SOFAStack 产品家族 SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术...
金融分布式架构 SOFAStack 致力于提供一整套帮助广大金融场景落地云原生、分布式架构的产品和解决方案，而其中的应用 PaaS 平台，融合金融科技多年在大规模分布式系统和容器平台的实践经验，使用户在专注于业务价值的同时，提升研发效率和...
实时监控利用文件传输、流式计算、分布式文件存储、时序数据存储，数据可视化、数据建模等技术，提供实时、智能、可定制、多视角、全方位的监控体系。其主要优势有：全方位实时监控 提供资源、应用、业务等各种视角的监控能力，关键指标秒...
术语 说明 应用 泛指用于组成业务系统的应用，可以为单体应用也可以为基于分布式框架构成的微服务应用。应用拓扑 拓扑是对应用间调用关系和依赖关系的可视化展示。SOFATracer SOFATracer 是一个用于分布式系统调用跟踪的组件，通过统一的 ...
步骤一：使用分布式缓存挂载NAS文件系统 执行以下命令，在集群中创建并部署csi-plugin的ConfigMap，安装加速插件。cat EOF|kubectl apply-f-apiVersion:v1 kind:ConfigMap metadata:name:csi-plugin namespace:kube-system data:cnfs-...
变更管控与保障 针对金融级场景下大规模分布式系统的特点，提供了丰富的发布策略以满足不同的场景，如：分组发布、Beta 发布、灰度发布等，帮助传统架构平滑过渡，适应金融技术风险保障需求，实现大规模金融级运维场景下的容器服务落地。...
SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系，吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证，为金融交易技术保证风险安全的同时，...
TCP 协议催生了分布式系统，分布式系统催生了微服务，Service Mesh 就是下一代微服务技术的代名词，是微服务时代的 TCP 协议。Service Mesh 以 Sidecar 形式，将服务治理从业务逻辑中剥离，并拆解为独立进程，实现异构系统的统一治理和网络...
江西农信日前携手蚂蚁集团，使用最前沿的云原生技术，实现了传统业务系统从集中式技术架构下移，并平滑迁移上云，为整体核心系统进行分布式架构升级和演进探索积累了坚实的技术基础。客户需求 过去多年，江西农信基于传统 ESB...
在产品层除了提供业界标准的云原生能力外，还提供具备金融级特性的发布运维能力，比如按序的无损发布策略，针对大规模分布式系统的批量发布运维能力，内置按机房或部署单元的高可用容灾拓扑，并集成 SOFAStack 的实时监控能力。您可通过...