通过RocketMQ事务消息实现分布式事务
在日益复杂的分布式系统中,确保数据一致性成为一大挑战。本方案利用RocketMQ强大事务消息能力,确保跨服务事务的高可靠与最终一致性,同时还实现了事务处理的高效执行,是构建高性能、高可用分布式系统的关键路径。
在日益复杂的分布式系统中,确保数据一致性成为一大挑战。本方案利用RocketMQ强大事务消息能力,确保跨服务事务的高可靠与最终一致性,同时还实现了事务处理的高效执行,是构建高性能、高可用分布式系统的关键路径。通过RocketMQ事务消息实现分布式事务 在日益复杂的分布式系统中,确保数据一致性成为一大挑战。本方案利用...
通过PAI-灵骏分布式训练和部署Llama 2模型
灵骏支持业界各类流行的开源大语言模型,包括Llama2系列、Bloom系列、Falcon系列、GLM/ChatGLM系列,以及领域大模型galactica等的高效训练和部署。本方案整体可用于企业样本标注、创意文本生成、智能对话助手、文本类创作辅助等场景。
训练效率、性价比提升 大模型训练只需简单配置即可自动分布式并发执行,优化的计算、网络、通信和存储架构提高资源利用率,加快模型训练速度,大幅缩减训练时间和成本 架构与部署 通过PAI-灵骏分布式训练和部署Llama 2模型 本方案实现了大模型开发全链路打通,流程全面覆盖训练到部署各环节,简化大模型应用,加速其在业务...
灵活配置,高效执行,快速集成分布式任务调度
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务,对于任务配置和执行率有较高要求,本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理,为定时任务提供高效、稳定和灵活的解决方案。
在线部署 适用客户 有托管任务管理需求 需要处理大规模数据处理任务 实现复杂任务编排与多样化任务类型支持的场景 方案优势 为什么选择 SchedulerX 阿里云分布式任务调度服务(SchedulerX)通过高可用性、高可靠性、强大的分布式架构和丰富的调度策略,为企业提供了一种灵活、高效、安全的任务调度解决方案。高可用性与高...
自建Hadoop迁移到阿里云EMR
自建<em>Hadoop</em>迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
将这些预配置好的配置文件复制到 Hadoop的 etc目录下覆盖 已有文件即可:cp-r/usr/local/hadoop-2.10.1/etc/hadoop/usr/local/hadoop-2.10.1/etc/hadoop_bak cp-rf*/usr/local/hadoop-2.10.1/etc/hadoop/文档版本:20210714 19 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 提示需要覆盖文件时输入 y进行确认。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hadoop迁移MaxCompute
自建<em>Hadoop</em>迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
b(可根据库存选其他可用区)IPv4网段 192.168.20.0/24 ECS实例 类别 配置项 说明 基础配 ECS名 ecs-hadoop 置 支付方式 后付费 地域 华东 2(上海)可用区 g 实例 ecs.c5.xlarge(4c 8g)购买实例数 8台 量 说明:1台用于安装日志发生器,1台用于安装 Kafka,5台 用于安装 Hadoop,1台用于安装 MySQL。镜像 选择公共镜像。...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
大规模分布式应用任务调度解决方案
大规模分布式应用任务调度解决方案,可以提供精确的周期性调度、任务编排、分布式计算、报警监控等能力,助力企业可视化地进行任务管理和运维。
相对于传统的 hadoop 大数据处理,减少了数据传输过程,直接对数据库数据进行分布式并行处理,极大限度的提高处理效率及机器利用率,具备秒级分布式跑批能力.支持任务优先级抢占,保障高优先级任务优先执行。支持流量控制,可控制一个应用同时在跑的任务数量,超过流控并发数,任务将在队列中等待,保障系统稳定运行.使用...
来自: 解决方案
云原生数据库PolarDB 分布式
PolarDB 分布式版是阿里云自主设计研发的高性能云原生分布式数据库产品,为用户提供高吞吐、大存储、低延时、易扩展和超高可用的云时代数据库服务。
PolarDB 分布式版升级发布会,共建云原生分布式数据库生态 最新发布 公告 PolarDB产品体验升级和优化 新功能 PolarDB分布式版V2.3 集中分布式一体化开源发布 新功能 将DRDS模式数据库转换为AUTO模式数据库 新功能 Binlog日志服务 方案咨询 业务中台技术解决方案产品规格 PolarDB 新用户首次购买包年包月实例,指定规格...
来自: 云产品
分布式任务调度 SchedulerX
SchedulerX 是阿里巴巴自研的基于 Akka 架构的分布式任务调度平台(兼容开源 XXL-JOB/ElasticJob/K8s Job/Spring Schedule),支持 Cron 定时、一次性任务、任务编排、分布式数据处理,具有高可用、可视化、可运维、低延时等能力。
分布式计算 提供单机、广播、Map、MapReduce 和片等多种分布式编程模型,简单几行代码即可通过您自己的机器自建分布式引擎,进行大数据跑批。报警监控 全面的监控指标,丰富及时的报警方式,便于运维人员快速定位和解决线上问题。典型应用场景轻量级 ETL 通过轻量级分布式任务直接处理数据库或 OSS 中的数据。相对于传统...
来自: 云产品
云原生分布式数据库PolarDB-X
阿里云云原生分布式数据库PolarDB-X(原DRDS升级版),可解决分库分表、海量数据存储、超高并发吞吐、复杂计算效率等问题。最高可支撑千万级并发和百PB级海量存储。
PolarDB 分布式版升级发布会,共建云原生分布式数据库生态 最新发布 公告 PolarDB产品体验升级和优化 新功能 PolarDB分布式版V2.3 集中分布式一体化开源发布 新功能 将DRDS模式数据库转换为AUTO模式数据库 新功能 Binlog日志服务 方案咨询 业务中台技术解决方案产品规格 PolarDB 新用户首次购买包年包月实例,指定规格...
来自: 云产品
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力,是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案,助力客户应用轻松转型分布式架构,保证风险安全的同时帮助业务需求敏捷迭代,支撑金融业务创新,开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
金融分布式架构 SOFAStack™(Scalable Open Financial Architecture Stack)是构建金融级云原生架构的应用平台,沉淀了金融场景的最佳实践,提供服务构建、应用开发、部署发布、服务治理、监控运维、容灾高可用等全栈解决方案,兼容Dubbo、Spring Cloud等微服务运行环境,助力客户各类应用轻松转型分布式架构....
来自: 云产品
分布式云容器平台ACK One
阿里云分布式云容器平台ACK One面向混合云、多集群、分布式计算等场景,支持连接您任何地域、基础设施上的K8s集群,提供一致的社区兼容的API,助力管理分布式云资源
分布式云容器平台 ACK One.分布式云容器平台(简称 ACK One)是面向混合云、多集群、分布式计算、容灾等场景的企业级云原生平台,支持连接任何基础设施上的 Kubernetes 集群,对集群和应用统一运维管理。此外,面向批处理、数据处理、科学计算、持续集成等场景提供全托管 Argo 工作流集群,支持大规模工作流编排与高效弹性...
来自: 云产品
分布式身份服务
分布式身份服务 DIS 通过蚂蚁区块链,安全的存储个人和企业用户的身份信息,并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互,使得企业和机构可以更合规的使用和管理用户身份信息及数据授权,而身份信息的真实性得到了极大的保障。
分布式身份服务 DIS.蚂蚁区块链分布式身份服务 DIS(Decentralized Identity Service),是一种基于区块链的数字身份注册和管理方案,符合W3C规范,能够更高效地保护用户的数据隐私安全,同时让数据的流转更加可信与合法合规,有效解决机构验证身份信息的真实性和机构间数据合作的难题.分布式身份服务 DIS.蚂蚁区块链分布式...
来自: 云产品
企业级分布式数据库解决方案
企业级分布式数据库解决方案挂载管理多个云数据库 RDS for MySQL,可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案。
企业级分布式数据库解决方案.通过阿里云云原生分布式数据库 PolarDB-X 1.0 挂载管理多个云数据库 RDS for MySQL,可线性提升数据存储容量及并发吞吐。为企业级客户提供弹性、稳定、高效的企业级分布式关系型数据库解决方案.PolarDB-X 全新升级.谢赟辉,靖鑫,也树.企业级分布式数据库解决方案.云原生分布式数据库 PolarDB-X 1...
来自: 解决方案
区块链分布式身份服务解决方案
区块链分布式身份服务解决方案提供基于区块链技术的实体身份标识及可信数据交换服务,具有分布式、多中心等特性。该服务符合 W3C DID 以及 W3C VC 规范,实体可以对数字身份进行便捷的创建、验证、管理。此外,实体之间能够进行可验证声明的颁发,用以满足复杂的场景需求。
区块链分布式身份服务解决方案.通过蚂蚁链安全地存储个人和企业用户的身份信息,并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互,使得企业和机构可以更合规的使用和管理用户身份信息及数据授权,而身份信息的真实性得到了极大的保障.解决方案模板页-卡片.靖鑫,也树,英布,墨峰.靖鑫,也...
来自: 解决方案
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案,助力自建 Hadoop 用户快速构建云上半托管开源大数据平台,在保持原组件使用习惯延续的同时,充分利用云上服务特点,更加便捷地迭代企业大数据平台架构,聚焦业务价值开发。
中小企业自建Hadoop集群上云解决方案.基于阿里云 E-MapReduce、OSS、边缘网络加速等产品及服务,帮助自建 Hadoop 用户快速构建云上半托管开源大数据平台,在保持原自建 Hadoop 组件使用习惯延续的同时,充分利用云上服务特点,更加便捷地迭代企业大数据平台架构,聚焦业务价值开发.谢赟辉,靖鑫,也树.中小企业自建Hadoop集群...
来自: 解决方案
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台,提供多样的应用发布能力和轻量级微服务解决方案,帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题,完全兼容Dubbo和Spring Cloud,助您轻松转型企业级互联网架构。
企业级分布式应用服务EDAS(Enterprise Distributed Application Service)是一个应用PaaS平台,一站集成微服务、可观测、任务调度等技术;以专业易用的应用全生命周期管理、流量及容量治理等功能,配合业务视角的验收、资源管控与成本优化能力,助力企业应用架构云原生化升级.80A_首页banner.谢赟辉,靖鑫,也树.EDAS 可以...
来自: 云产品
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
式微服务管理平台上。该最佳实践帮助希望迁移自研的 Spring Cloud应用到 EDAS 平台,充分利用阿里云中间件平台技术优势的客户。由于 PiggyMetrics是基于 Docker来部署的微服务应用,需要首先修改为不通过容器 化部署方式,便于在本地调测和修改应用。本章剩下的部分将详细描述如何在本地构 建开发环境,并成功启动 Piggy...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
部署高并发数据库环境 简介:DRDS 是一款基于 MySQL 存储、采用库分表技术进行水平扩展的分布 OLTP 数据库服务产品,支持 RDS for MySQL 以及 POLARDB for MySQL,产品目标旨在提升数据存储容量、并发吞吐、复杂计算效率三个方面的扩展性需求。场景:DRDS 非常适用于面向拥有超高并发,大规模数据存储的互联网在线事务...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
云速搭CADT部署PolarDB-X 1.0
云速搭CADT部署PolarDB-X 1.0
通过云速搭 CADT 实现云原生分布式数据库 PolarDB-X 1.0 的部署。
详见:https://www.aliyun.com/product/developerservices/cadt 云原生分布式数据库 PolarDB-X:PolarDB-X 是由阿里巴巴自主研发的云原生 布式数据库,具备水平扩容、金融级高可用、HTAP混合负载、兼容 MySQL 等 重要特性,专注解决超高并发吞吐、海量数据存储、大表瓶颈等数据库瓶颈难题,历经各届天猫双 11及阿里云各...
来自: 最佳实践 | 相关产品:专有网络 VPC,云原生分布式数据库PolarDB-X,云速搭CADT
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用