数据集加速器概述 分布式训练加速TorchAcc PAI-TorchAcc（Torch Accelerator）是基于PyTorch的训练加速框架，通过GraphCapture技术将PyTorch动态图转换为静态执行图，然后进一步基于计算图完成分布式优化、计算优化，从而提高PyTorch模型...
产品主售形态主要分为 标准版（集中式形态）和 企业版（分布式形态），详细架构如下：对比与选型 对比维度 标准版(集中式)企业版(分布式)核心架构 单机形态，支持 Paxos多副本、Lizard事务系统 等分布式优化。分布式形态，通过计算节点、...
PAI-TorchAcc（Torch Accelerator）是基于PyTorch的训练加速框架，通过GraphCapture技术将PyTorch动态图转换为静态执行图，然后进一步基于计算图完成分布式优化、计算优化，从而提高PyTorch模型训练的效率，使其更加易于使用。技术简介 ...
表格存储（Tablestore）基于分布式架构和存储算法优化，在保障高性能与高可靠性的基础上，提供存储与计算成本控制方案，降低IT基础设施支出。存储成本控制 多副本交付，单副本计费：采用多副本分布式存储架构保障数据可靠性，计费时仅按单...
优化分布式版集群的数据重分布（rebalance）操作，新增并行处理能力。优化 pg_total_relation_size 函数的执行性能。缺陷修复 说明 修复 syslogChannel 初始化异常的问题。修复 SMgrRelation 对象在特定场景下可能发生的内存泄漏问题。修复...
PolarDB-X 1.0 支持分布式JOIN算法，目前支持Nested-Loop Join、Hash Join、Sort-Merge Join和Lookup Join（BKAJoin）等 分布式JOIN算法。
性能提升效果 相比NCCL优化性能（Baseline），使用DeepNCCL在V100两机16卡模型上进行分布式优化时，采用allreduce通信算法，其优化提升效果显著，具体busbw值如下图所示：①：表示使用NCCL（Baseline）进行分布式优化时，其优化性能的busbw...
文档介绍了分布式训练的基本概念、集群配置方法以及如何在ACK环境中实现TensorFlow的分布式训练，帮助您优化训练性能。具体操作，请参见 基于Kubernetes使用TensorFlow进行分布式训练。使用Arena提交单机PyTorch训练任务 Arena是一个用于...
高性能 通过分布式以及优化的底层架构、支持多层调度模式可进行无限拆分，多线程并行处理，显著提升大数据量的批任务处理的性能。可视化集中式管理 通过简易操作的可视化集中式管理平台可对上万个任务节点进行集中化管理，简化运维管理操作...
深度学习推荐算法 在PAI-TensorFlow基础上，PAI开发了经典的深度学习推荐算法，即源码级开源的DeepFM代码，详情请参见 使用TensorFlow实现分布式DeepFM算法。DeepFM中详细描述了读取MaxCompute数据表、特征处理、构造Graph、训练及评估等...
PolarDB-X 支持了上述比较丰富的Join算法，优化器会根据统计信息选择相对于合理的Join算法。这里罗列下各个Join算法比较适合的场景。JOIN算法 使用场景 NLJoin 非等值JOIN场景。HashJoin 大部分等值Join都倾向于选择HashJoin，除非数据有...
分布式训练DLC（Deep Learning Containers）可以帮助您快捷地创建单机或分布式训练任务，其底层使用Kubernetes拉起计算节点。这避免了您手动购买机器并配置运行环境，同时无需改变使用习惯。适用于需要快速启动训练任务的用户，支持多种...
性能方面 算法封装了PAI-TF的多种优化引擎，包括分布式训练、编译优化及混合精度等，您通过简单的配置文件即可在PAI中享受极致的性能体验。同时，兼容在开源TF中使用PAI-EasyVision。模型丰富度方面 提供了大量在开源数据集上训练完成的...
分布式事务 DTX（Distributed Transaction-eXtended）是蚂蚁集团自主研发的金融级分布式事务中间件，用来保障在大规模分布式环境下业务活动的最终一致性。在蚂蚁集团内部被广泛地应用于交易、转账、红包等核心资金链路，服务于亿级用户的...
SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、K8s Job、Spring Schedule，支持Cron定时、一次性任务、任务编排、分布式数据处理，具备高可用、可视化、可运维、低延时等能力。
发起方 initiator 分布式事务的发起方负责启动分布式事务，通过调用参与者的服务，将参与者纳入到分布式事务当中，并决定整个分布式事务是提交还是回滚。一个分布式事务有且只能有一个发起方。参与者 participant 参与者提供分支事务服务。...
找到 任务 页面中您创建的算法任务所在页签（分布式页签（DLC）、算法组件任务 或 工作流任务 页签）。单击任务名称，进入任务详情页。在 基本信息 中单击 查看血缘，即可进入PAI 血缘分析 页面查看算法任务的血缘信息。说明 在PAI血缘分析...
提供丰富的服务治理功能 消息队列 基于 Apache RocketMQ 构建的分布式消息中间件 提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式...
背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台，在弹出的对话框中单击 开通。在 分布式任务管理 页面，单击 立即购买。在 确认订单 页面 ...
本节介绍如何开通分布式事务服务。前提条件 已注册阿里云账号，并完成实名认证。操作步骤 开通 SOFAStack 产品服务。使用阿里云账号登录 阿里云官网。在上方菜单栏选择 产品与服务 中间件 金融分布式架构 SOFAStack。在 SOFAStack 产品主页...
分布式事务可应用在多个涉及数据库操作的领域，尤其在金融领域可以做到全场景的覆盖与落地验证，包括：支付与转账、账务：对于吞吐量有很高的要求 金融与理财：往往涉及的金额较大，所以对于产品的稳定性要求非常高 保险与监管报送：参与方...
分布式事务是保障金融级分布式系统数据一致性的核心技术。本文系统阐述了其核心概念、功能特性、产品优势及应用场景，为构建高可靠、高一致的分布式业务系统奠定基础。
分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台，提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志，还可以通过工作流进行任务...
背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 首次使用并登录分布式任务调度平台，在弹出的对话框中单击 开通。在 分布式任务管理 页面，单击 立即购买。在 确认订单 页面 服务协议 区域，选中 我已...
PolarDB-X 是一款集中分布式一体化的数据库，不仅支持分布式形态的企业版，也支持集中式形态的标准版，且标准版可以平滑升级到企业版，享受分布式带来的扩展性与可用性。PolarDB-X 标准版与企业版的区别？请参考 企业版和标准版的区别。...
SOFAStack 提供了一套用于快速构建金融级分布式架构的中间件，是在严苛的金融场景里锤炼出来的最佳实践。要使用 SOFA 中间件，例如微服务或消息队列，推荐使用 SOFABoot 框架进行开发。SOFABoot SOFABoot 是蚂蚁科技基于 Spring Boot 自研...
SOFAStack 包含构建金融级云原生架构所需的各个组件，提供微服务应用开发部署、监控运维、项目管理、容灾高可用等全栈式解决方案，助力各类应用轻松转型分布式云原生架构。
分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台，兼容开源XXL-JOB、ElasticJob、Spring Schedule，K8s Job，支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批，具有高可用、可观测、可运维和低延时等能力。...
微服务产品在蚂蚁集团内部已支撑数万个节点规模的分布式应用架构，具有高可用性、高可扩展性、高性能、高时效性、稳定可靠等核心优势，并提供丰富的功能来帮助用户简化分布式系统的管理，让业务开发人员可以专注于业务逻辑实现，提升研发...
分布式中间件 蚂蚁分布式中间件的产品发展路径，一直秉承引领和拥抱业界先进标准和实践，同时亦能满足传统金融架构的平滑迁移、融合适配，以稳妥应对业务升级变更，并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...
企业级分布式应用服务EDAS（Enterprise Distributed Application Service）是一个应用托管和微服务管理的PaaS平台，提供应用开发、部署、监控、运维等全栈式解决方案，支持Spring Cloud、Dubbo等微服务运行环境，助力您的应用轻松上云。
蚂蚁区块链分布式身份服务 DIS（Decentralized Identity Service），是一种基于区块链的身份管理方案，提供实体身份的创建、验证和管理等一整套功能，实现更规范化地管理和保护实体数据，同时保证信息流转的真实性和效率，解决了跨机构的...
中间件 分布式链路跟踪 一款实时监控并管理企业应用性能和故障的云服务，其提供数字化性能管理解决方案，帮助企业在分布式架构下快速发现并准确定位应用全生命周期的性能问题。任务调度 提供分布式任务调度框架，实现任务的分布式处理，并...
分布式事务不仅支持 SOFABoot 框架，也支持纯 Spring 的应用场景。本文将分别介绍针对不同的服务框架所要预先完成的依赖与配置项操作。无论是事务发起方还是参与者均需要完成本文的依赖与配置项操作。环境要求 必须使用 JDK 1.7 或以上版本...
本文介绍分布式任务调度平台（SchedulerX）的服务等级协议。关于服务等级协议，请参见 分布式任务调度平台（SchedulerX）服务等级协议。
方案架构 基于蚂蚁集团中台战略及架构的最佳实践，将企业级公共能力进行抽象，形成以客户服务、运营服务、分布式金融核心套件为基础的业务中台体系，实现开放、可扩展、组件化、分布式的业务架构，支持业务快速、高效、低成本创新，满足...
SOFAStack（Scalable Open Financialarchitecture Stack）是一套用于构建金融级云原生分布式应用的技术栈。由 分布式中间件（狭义中间件）、运维管理（aPaas）、高阶运维保障 三大部分组成，并能与流行的 Dubbo、Spring Cloud 等开源微服务...
本文介绍分布式任务调度平台（SchedulerX）的服务等级协议。关于服务等级协议，请参见 分布式任务调度平台（SchedulerX）服务等级协议。
什么是透明分布式 PolarDB-X 2.0 的透明分布式的本质，是通过向用户提供默认分区策略或数据分布策略，让用户的应用在近乎零改造的前提下接入分布式数据库，并同时能享受到因分布式数据库扩展性所带来的突破单机性能瓶颈的红利。因此，透明...
业务挑战 在大规模分布式应用中，曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中，为了解决服务及数据调用的问题，引入了分布式服务框架、分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...