EMR本地实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求,在云 上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运 维方案,帮助用户方便可靠地使用本地盘机型, 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品,提供用户在云上使用开源技术建设数据仓 库、离线批处理、在线学习、即时查询、机器学习等场景下的大数据解决方案。PT测试:Power Test(PT)功耗测试,TPC-DS用于大数据性能测试的方法。大数据实例本地:阿里云为了...
来自: 最佳实践 相关产品:块存储,云服务器ECS,E-MapReduce
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
查看详情免费试用云服务器 ECS 产品,开启您的云上之旅产品优势稳定提高可用性单实例可用性达99.975%,多可用区多实例可用性达99.995%,云盘可靠性达99.9999999%,可实现宕机自动迁移、快照备份弹性提升扩展能力支持分钟级别创建千台实例,多种弹性付费选择更贴合业务现状,同时带来弹性的扩容能力,实例与带宽均可随时升降...
来自: 云产品
专有宿主机DDH
专有宿主机提供基于阿里云虚拟化托管、物理主机独享的单租户环境、通过独享硬件资源方式可以满足安全、合规、自定义部署、自带许可证(BYOL)需求,在专有宿主机上可以创建多种规格的ECS实例,继承了ECS实例的规格选择灵活、性能稳定的优点和特性。
云服务器ECS.对象存储OSS.推荐搭配使用.游戏行业部署方案.灵活自主的业务层级构建.依托于新零售行业的业务使用形态,借助于CPU超分技术从而达到更高的资源利用率.根据业务场景及资源使用情况,实现最优业务配比.云服务器ECS.文件存储NAS.对象存储OSS.推荐搭配使用.新零售行业部署方案.低CPU负载业务场景下的最优架构.核心...
来自: 云产品
基于函数计算FC实现阿里Kafka消息轻量级ETL处理
基于函数计算FC实现阿里<em>云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
FC实现阿里 Kafka消息轻量级 ETL处理 最佳实践概述 产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实 例,比如 ECS、负载均衡、RDS等。函数计算 FC(Function Compute):函数计算是事件驱动...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
自建数据库迁移到数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS,解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构,支持跨可用区容灾,给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程,模拟了数据库迁移所需的工作,帮助您快速上手。
体验此教程会为您创建的资源架构图如下:相关产品云服务器 ECS云数据库 RDS MySQL 版方案咨询01准备资源通过一键部署脚本,快速创建一个模拟环境,包含一个运行网站应用和数据库的ECS实例,以及一个迁移目标RDS实例。02迁移数据库这一步骤将引导您使用数据传输服务DTS,将ECS上自建的数据迁移到RDS中。03验证及切换通过这一...
来自: 解决方案
ECS 数据备份与保护
随着企业核心业务规模不断扩大,需要根据业务需求对生产环境中的关键数据进行定期备份。
相关产品云服务器 ECS存储容量单位包 SCU在线咨询方案优势安全高效每一个快照都是完整时间点的备份,并且仅保留变化的数据块,可按需进行恢复。同时,快照采用了增量备份方式,它只备份数据的变化部分,而不需要对整个数据集进行备份,提高了数据备份恢复效率。灵活备份支持根据实际需求设置备份策略,包括定时自动备份和...
来自: 解决方案
基于函数计算FC实现阿里Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里<em>云</em>Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不同的 5 文档版本:20240304 基于函数计算 FC 实现阿里 Kafka 消息内容控制 MongoDB DML 操作 最佳实践概述 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比 如 ECS、负载均衡、RDS 等。l 函数计算 ...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
Oracle RAC 12C上部署
Oracle RAC 12C<em>云</em>上部署
Oracle RAC架构迁移上云,提供高并发,高吞吐,高安全等特性,适用于金融,电力,电信,制造业等传统客户的核心交易系统。
在哪里下载oraclerac软件.92 文档版本:20240206 VOracleRAC12C云上部署 最佳实践概述 最佳实践概述 概述 通过云服务器ECS、高可用虚拟IP、NVMe共享ECS7代存储增强型实例和VPC 构建云上OracleRAC架构,实现高可用、高吞吐、高性能、负载均衡、容错的等特 性,满足生产、制造、电力、能源等核心业务系统场景,解决传统...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,弹性公网IP,云企业网
基于函数计算FC实现物联网音视频处理
基于函数计算FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
云服务器ECS免去了您采购IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务 需求,助力您的业务发展。 阿里云对象存储OSS(ObjectStorageService):是一款海量、安全、低成本、高可靠的云 存储服务,...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算实现直播流录制-存储-通知
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实 例,比如 ECS、负载均衡、RDS等。函数计算 FC(Function Compute):函数计算是事件驱动的全托管计算服务。使用函数计 算,您无需采购与管理...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于SAE的一站式Web服务托管方案
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力,代码提交后可以触发自动构建,并部署应用到SAE,部署完成后,应用自动产生访问域名,外部请求通过域名可以直接访问应用。SAE提供了内置的可观测,灰度,回滚能力,通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云,客户只需要提供代码仓库,后续的CICD,应用访问,弹性管理,运维监控,SAE都提供了内置的集成能力
产品介绍 专有网络 VPC(Virtual Private Cloud):是用户基于阿里创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实 例,比如 ECS、负载均衡、RDS等。Serverless 应用引擎 SAE(Serverless App Engine):是一款零代码改造、极简易用、自适应弹性的应用全托管...
来自: 最佳实践 | 相关产品:Serverless 应用引擎
无代理ECS数据备份与高效环境搭建
本方案是基于快照提供数据保护和环境搭建的解决方案。可以帮助您实现无代理且有效可靠的数据备份,同时还可以帮助您快速克隆部署开发测试环境。使用基于快照的备份不仅简单有效,在数据备份以及恢复中也能保证稳定可靠,同时基于快照的环境搭建,不仅可以免于从0到1搭建环境,还可以将环境、数据等全部打包克隆到新机器上。
相关产品云服务器 ECS块存储 EBS专有网络 VPC弹性公网 IP在线咨询方案优势无代理简单有效不占用云服务器CPU和内存,不影响生产,不借助第三方备份,不依赖任何插件,充分保证数据备份有效可靠且简单易用。灵活高效的备份和环境搭建提供手动/自动快照两种方式,可满足一次性的数据保护和按需的数据保护,提供快照和镜像等...
来自: 解决方案
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
云服务器ECS免去了您采购IT 硬件的前期准备,让您像使用水、电、天然气等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器,解决多种业务 需求,助力您的业务发展。 云速搭CADT(CloudArchitectDesignTools):是一款为上云应用提供自助式云架构管理 的产品,显著...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
容器多云统一监控日志
容器多云统一监控日志
多云、混合云成为常态,Forrester 报告中指出,未来 89% 的企业至少使用两个云,74% 的企业至少使用三个甚至更多公有云,在面对多云/混合云这样大的趋势下,Gartner报告指出,安全、运维复杂性、财务复杂性是多云架构的主要挑战,本方案给出了在多云/混合云场景下,构建基于容器环境下的统一管理、统一监控和统一日志方案,解决多云、混合云场景下,运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商(AWS、Azure、GCP、TencentCloud、HuaweiCloud等)或者IDC基于容器(Kubernetes)运行业务系统,希望构建容器场景下的统一监控日志系统,方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统,在一个平台可以看到不同环境系统的运行情况。
云服务器ECS:用于部署单节点Kubernetes,模拟非阿里云自建容器集群 产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里云创建的自定义私有 网络,不同的专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。 云速搭CADT...
来自: 最佳实践 | 相关产品:专有网络 VPC,容器服务 ACK,日志服务(SLS),应用实时监控服务 ARMS ,微服务引擎
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
 弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT 网关、ENI网卡、私网负载均衡SLB绑定,并可以动态解绑满足灵活管理的要求。弹性公 网IP可为您在云上部署的网站提供Internet访问服务。 云速搭CADT(CloudArchitectDesignTools):是一款为上云应用提供自助式云架构管理 的产品,显著地...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
SAE-ACK应用双跑最佳实践
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比如ECS、负载均衡、RDS等。 负载均衡SLB(ServerLoadBalancer):一种对流量进行按需分发的服务,通过将流量分发 到不同的后端服务来...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于OSS Object FC实现非结构化文件实时处理最佳实践
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中,以图片,视频,音频居多。举一个图片处理的场景,现在各种终端种类繁多,不同的终端对图片的格式、分辨率要求也不同,所以一张图片往往会有很多张衍生图,那如果所有的衍生图都存在OSS中,那存储的成本会增加,所以就可以通过OSS Object FC的方案,在不同的终端请求时,对OSS中的原图基于终端的要求做实时处理,然后响应返回,这样OSS中只需要存储原图即可。音视频也有类似的场景。
产品介绍  专有网络VPC(VirtualPrivateCloud):是用户基于阿里创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离,用户可以在自己创建的专有网络内创建和管理产品实例,比如ECS、负载均衡、RDS等。 函数计算FC(FunctionCompute):函数计算是事件驱动的全托管计算服务。使用函数计 算,您无需采购与管理...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
Kafka性能压测快速方案
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据,本方案可以快速构建测试的客户端(kafka官方的压测客户端)和不同的Kafka服务端( SSD云盘版、高效云盘、Serverless版三种实例),方便客户进行POC完成性能验证。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC类型 的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定,并可以动态 解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供Internet访 问服务。 消息队列Kafka版,云托管的Kafka服务。实例版本(创建时指定规格)可以提 供与开源Kafka...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 Kafka 版
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
 弹性公网IP:弹性公网IP是独立的公网IP资源,可与阿里云专有网络VPC 类型的云服务器ECS、NAT网关、ENI网卡、私网负载均衡SLB绑定,并可 以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署的网站提供 Internet访问服务。 微服务引擎MSE:微服务引擎 MSE 面向业界主流开源微服务项目,提供注 册配置中心和...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本:20240204(发布日期)基于云速搭 CADT部署药物筛选批量...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
< 1 2 3 4 ... 12 >
共有12页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用