分布式深度学习

_相关内容

分布式深度学习训练加速(EPL)

EPL(Easy Parallel Library)是高效易用的分布式模型训练框架深度集成多种训练优化技术,提供了简单易用的API实现各种并行化策略。您可以使用EPL实现低成本、高性能分布式模型训练。本文为您介绍如何在DLC中使用EPL高效地进行分布式...

集中分布式一体化

透明分布式深度兼容集中式MySQL生态,无需应用改造。为了解决分布式特性带来的额外性能开销的问题,PolarDB-X 结合 表组与分区组 的技术,保证了关联数据按照集中式的形态分布,从而对分布式事务和复杂查询进行优化,在单分区场景下对齐...

功能特性

API概览 分布式训练DLC 云原生分布式训练环境 基于阿里巴巴容器服务为用户提供灵活、稳定、易用和极致性能的深度学习训练环境,基于(CPU/GPU)提供深度学习训练平台。分布式训练(DLC)数据集挂载 支持多数据集,可以同时挂载多个NAS、OSS...

DLC概述

大规模分布式训练 支持使用多种开源深度学习框架进行离线大规模分布式深度训练。DLC支持上千个节点同时训练,显著缩短训练时间。离线推理 通过DLC可以离线对模型进行离线推理,有效增加闲时GPU机器使用率,大大降低资源浪费。相关文档 创建...

功能特性

应用拓扑发现 能持续地自动发现您整个...应用下钻 基于多种维度对应用进行深度剖面分析,如应用的基础性能分析、中间件层分析、异常问题分析等,帮助建立由底层到上层间的数据关联信息,从而深度分析分布式场景下的影响应用性能的问题根因。

概述

分布式事务可以与服务框架(SOFABoot、Spring Cloud、Dubbo 等)、数据源(数据访问代理、RDS、MySQL、OceanBase 等)、消息队列等蚂蚁集团中间件产品配合使用,轻松实现服务链路级事务、跨库事务、消息事务及各种组合。分布式事务主要涉及...

基础术语

分支事务 action 一个分布式事务可能包含多个数据库本地事务,在分布式事务框架下,分支事务可能是一个分库上执行的 SQL 语句,或是一个自定义模式服务的调用。发起方 initiator 分布式事务的发起方负责启动分布式事务,通过调用参与者的...

概述

消息队列 SOFAStack 消息队列是基于 Apache RocketMQ 构建的分布式消息中间件,并与金融分布式架构 SOFAStack 深度集成,为分布式应用系统提供异步解耦和削峰填谷的能力,支持事务消息、顺序消息、定时消息等多种消息类型,并具备高可靠、...

分布式任务调度

SchedulerX是阿里巴巴自研的基于Akka架构的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、K8s Job、Spring Schedule,支持Cron定时、一次性任务、任务编排、分布式数据处理,具备高可用、可视化、可运维、低延时等能力。

功能特性

分布式事务(Distributed Transaction-eXtended,简称 DTX)是蚂蚁集团自主研发的金融级分布式事务中间件,支持跨数据库、跨服务以及混合的方式处理分布式应用,具备多种接入模式和金融级配套功能,本文将主要介绍分布式事务的功能特性。...

基于Kubernetes部署运行模型训练作业

使用DeepSpeed进行分布式训练 DeepSpeed是一个优化深度学习训练的框架,支持在Kubernetes上使用DeepSpeed进行分布式训练。文档介绍了DeepSpeed的核心功能,如自动混合精度训练、模型分片和优化器等,并提供了如何在ACK环境中使用DeepSpeed...

中间件产品总览

提供丰富的服务治理功能 消息队列 基于 Apache RocketMQ 构建的分布式消息中间件 提供高可用消息云服务 任务调度 提供分布式任务调度框架 提供自动化任务调度服务 分布式事务 金融级分布式事务中间件 支持跨数据库、跨服务以及混合分布式...

开通服务

本节介绍如何开通分布式事务服务。前提条件 已注册阿里云账号,并完成实名认证。操作步骤 开通 SOFAStack 产品服务。使用阿里云账号登录 阿里云官网。在上方菜单栏选择 产品与服务 中间件 金融分布式架构 SOFAStack。在 SOFAStack 产品主页...

应用场景

分布式事务可应用在多个涉及数据库操作的领域,尤其在金融领域可以做到全场景的覆盖与落地验证,包括:支付与转账、账务:对于吞吐量有很高的要求 金融与理财:往往涉及的金额较大,所以对于产品的稳定性要求非常高 保险与监管报送:参与方...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 登录 分布式任务调度平台。首次使用并登录分布式任务调度平台,在弹出的对话框中单击 开通。在 分布式任务管理 页面,单击 立即购买。在 确认订单 页面 ...

常见问题

如果您使用的是数据访问代理中的分布式事务,因为数据访问代理和分布式事务已经深度集成,部署时是不需要任何依赖的,仅需一行事务开启 SQL 语句就能开启事务。如果您是基于 SDK 方式使用分布式事务,就需要在引入的分布式事务 SDK 的 pom....

什么是分布式事务

分布式事务是保障金融级分布式系统数据一致性的核心技术。本文系统阐述了其核心概念、功能特性、产品优势及应用场景,为构建高可靠、高一致的分布式业务系统奠定基础。

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴基于Akka架构自研的新一代分布式任务调度平台,提供定时调度、调度任务编排和分布式批量处理等功能。您可以在控制台配置、管理您的定时调度任务、查询任务执行记录和运行日志,还可以通过工作流进行任务...

开通SchedulerX

背景信息 阿里云分布式任务调度SchedulerX已于2021年09月01日正式商业化。操作步骤 首次使用并登录分布式任务调度平台,在弹出的对话框中单击 开通。在 分布式任务管理 页面,单击 立即购买。在 确认订单 页面 服务协议 区域,选中 我已...

金融分布式架构

SOFAStack 包含构建金融级云原生架构所需的各个组件,提供微服务应用开发部署、监控运维、项目管理、容灾高可用等全栈式解决方案,助力各类应用轻松转型分布式云原生架构。

产品优势

分布式中间件 蚂蚁分布式中间件的产品发展路径,一直秉承引领和拥抱业界先进标准和实践,同时亦能满足传统金融架构的平滑迁移、融合适配,以稳妥应对业务升级变更,并积极应对金融交易系统所面临的服务和数据扩展性、事务一致性、秒级容灾...

产品优势

微服务产品提供金融级分布式架构的基础设施能力,包括 RPC 框架及服务治理、服务注册与发现、动态配置、定时任务、服务限流等,为传统单体应用架构深入拆分为分布式应用架构提供稳定可靠的基础设施能力,帮助企业级客户快速构建基于微服务...

什么是分布式任务调度SchedulerX

分布式任务调度SchedulerX是阿里巴巴自研的分布式任务调度平台,兼容开源XXL-JOB、ElasticJob、Spring Schedule,K8s Job,支持Cron定时、一次性任务、可视化工作流任务编排和分布式跑批,具有高可用、可观测、可运维和低延时等能力。...

组件中心

任务调度 提供分布式任务调度框架,实现任务的分布式处理,并能规范化、自动化、可视化和集中化地对金融企业不同业务系统的任务进行统一的调度和全方位的监控运维管理。消息队列 在蚂蚁集团关键链路中历经十年实战打磨,是一款具备高可靠、...

企业级分布式应用服务

企业级分布式应用服务EDAS(Enterprise Distributed Application Service)是一个应用托管和微服务管理的PaaS平台,提供应用开发、部署、监控、运维等全栈式解决方案,支持Spring Cloud、Dubbo等微服务运行环境,助力您的应用轻松上云。

分布式数字身份

蚂蚁区块链分布式身份服务 DIS(Decentralized Identity Service),是一种基于区块链的身份管理方案,提供实体身份的创建、验证和管理等一整套功能,实现更规范化地管理和保护实体数据,同时保证信息流转的真实性和效率,解决了跨机构的...

依赖与配置项

分布式事务不仅支持 SOFABoot 框架,也支持纯 Spring 的应用场景。本文将分别介绍针对不同的服务框架所要预先完成的依赖与配置项操作。无论是事务发起方还是参与者均需要完成本文的依赖与配置项操作。环境要求 必须使用 JDK 1.7 或以上版本...

关键技术竞争力

异构兼容标准管控 SOFA Mesh 提供平台无关、语言无关、轻量无侵入特性的云原生方案,实现了传统应用平滑上云,支持异构系统之间的互联互通,传统应用向分布式架构平滑升级,提供了既支持基于 ESB 的传统 SOA 架构又支持 Spring Cloud 和 ...

常见问题

PolarDB-X 是一款集中分布式一体化的数据库,不仅支持分布式形态的企业版,也支持集中式形态的标准版,且标准版可以平滑升级到企业版,享受分布式带来的扩展性与可用性。PolarDB-X 标准版与企业版的区别?请参考 企业版和标准版的区别。...

SOFAStack 总体介绍

SOFAStack(Scalable Open Financialarchitecture Stack)是一套用于构建金融级云原生分布式应用的技术栈。由 分布式中间件(狭义中间件)、运维管理(aPaas)、高阶运维保障 三大部分组成,并能与流行的 Dubbo、Spring Cloud 等开源微服务...

天弘基金

业务挑战 在大规模分布式应用中,曾经的单体应用按横向和纵向的维度被拆分到集群的各个节点之中,为了解决服务及数据调用的问题,引入了分布式服务框架分布式消息集群、分布式文件存储、分布式缓存等一系列服务。应用的拆分及分布式中间...

互联网金融中台解决方案

基于支付宝的技术体系和生态,助力...分布式技术能力 提供金融级分布式框架和金融级分布式数据库,支持多租户,支持海量用户的高业务并发场景。提供大数据和人工智能的中台能力建设,支持分布式金融核心系统的异地多活架构。客户案例 建议产品

什么是分布式链路跟踪

分布式链路跟踪是构建金融级分布式架构的关键组件,本文系统阐述了其核心定义、产品架构、功能特性与典型应用场景,助您全面洞察系统调用链路,保障复杂业务的持续稳定。

应用场景

快速开发分布式应用 SOFABoot 框架集成了所有 SOFA 中间件,以“依赖即服务”的调用形式实现快速配置,轻松搭建稳定、可靠、安全、可扩展的分布式应用,减少开发、测试、集成成本。兼容 Spring Boot 工程 对于基于 Spring Boot 框架开发的...

什么是蚂蚁链分布式身份服务 DIS

蚂蚁链分布式身份服务 DIS(Decentralized Identity Service),是一种基于区块链的身份管理方案,提供实体身份的创建、验证和管理等一整套功能,实现更规范化地管理和保护实体数据,同时保证信息流转的真实性和效率,解决了跨机构的身份...

产品优势

兼容性保障 分布式事务是一个抽象的基于 Service 层的概念,与底层事务实现无关,也就是说在分布式事务的范围内,无论是关系型数据库 MySQL、Oracle,还是 KV 存储 MemCache,或是列存数据库 HBase,只要将对它们的操作包装成分布式事务的...

服务支持

任务调度SchedulerX常见问题 报警常见问题 任务常见问题 Spring任务问题 权限问题 接入问题 OpenAPI问题 相关协议 分布式任务调度平台(SchedulerX)服务等级协议 金融云分布式任务调度平台(SchedulerX)服务等级协议

10 分钟本地试用公有云分布式事务

本节介绍如何快速本地试用公有云分布式事务服务。操作步骤 开通分布式事务服务。说明 如果已开通服务,可以忽略这一步。如果没有账号,可使用支付宝扫描登录。登录分布式事务产品控制台。在 开通 DTX 分布式事务体验版 页面,单击 确认开通...

什么是PolarDB PostgreSQL分布式

PolarDB PostgreSQL分布式版 集群是一款基于集中式 PolarDB PostgreSQL版 集群打造的分布式数据库,采用CN/DN的双层架构,实现计算与存储分离的分布式扩展能力。同时支持集中式 PolarDB PostgreSQL版 集群的现有能力,充分满足企业级业务在...

产品体系

SOFAStack 产品家族 SOFAStack 源于自蚂蚁内部沉淀十多年的金融级分布式中间件技术体系,吸收了支付宝自创立以来在关键金融交易系统锤炼出来的架构实践。SOFAStack 所有的产品技术均经过蚂蚁集团自身严苛的金融场景验证,为金融交易技术...
< 1 2 3 4 ... 200 >
共有200页 跳转至: GO
新人特惠 爆款特惠 最新活动 免费试用