数据湖-在线学习场景数据分析
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例,使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer,模拟应用中的关键页面,比如登 录、课程内容等,之后构造若干用户使用的模拟 日志数据,投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖(EMR+OSS)搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
借助EMR 可以简单快速的构建一个基于 Hadoop,Spark,Hive等大数据产品的计算集群,而且可以按需使用,其所有 Job完 文档版本:20200331 5数据湖-在线学习场景数据分析 数据湖 成之后,销毁集群,因为所有的数据都保存在OSS。此外,对于Hadoop集群上的任务,不同类型的任务对于机器配置的要求不同,比如 推荐和算法业务可能...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,访问控制,E-MapReduce
在线教育流量洪峰
在线教育流量洪峰
1. 通过Tair缓存的性能增强型解决高并发读的性能问题,通过持久内存型解决大并发写性能及数据可靠性问题。 2. PolarDB作为主数据库保存业务的交易数据,通过弹性能力和并发SQL解决性能瓶颈。 3. ADB+QuickBI提供的数据仓库方案通过分时弹性能力和实时业务展现能力。
场景七:分时弹性 ADB的计算资源支持分时弹性,可以通过设置弹性计划,让集群根据计划在某一段时 文档版本:20210120 34 在线教育流量洪峰最佳实践 数据仓库大流量方案 间自动对资源进行扩容,在设置的计划还原时间时释放资源。这样能解决规律性的 资源峰谷需求,达到充分合理利用资源的目的。现在开始验证如何实现 ADB...
来自: 最佳实践 | 相关产品:云数据库 Redis 版,云数据库PolarDB,云原生数据仓库AnalyticDB My,Quick BI
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构,支持数据库定制和共享读写的线性扩展能力,提供低成本、高性能、高可用的存储服务,助力客户数据库业务无缝迁移上云。
支持MPP架构的线性扩展全并行分析计算.支持共享一份数据的多点读能力扩展,即一写多读。解决读密集型数据库业务的IO瓶颈.共享存储及多节点挂载,线性扩展的并发读写能力,确保数据库业务高可用.<查看全部产品.数据库文件存储(DBFS)是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计,通过文件协议...
来自: 云产品
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
步骤1 通 过 以 下 链 接 进 入 EMR 管 理 控 制,单击目标集群。(https://emr.console.aliyun.com/#/cn-hangzhou/cluster)步骤2 展开弹性伸缩下拉菜单,单击弹性伸缩配置。文档版本:20210329 31 云上成本优化 workshop 计费优化 步骤3 关闭运行中的伸缩组。步骤4 成功关闭后,单击配置规则。步骤5 将成本优化策略...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
场景2:自建 Hadoop集群数据(HDFS)迁移到 基于 IPSec VPN隧道构建安全和低成本数据 存储分离架构的阿里云 EMR集群,以 OSS 和 传输链路 JindoFS作为 EMR集群的后端存储。产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。文档模板(手册名称)/Error!Use the Home tab to apply 云服务器 ECS(产品名称)标题 to the ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
依托Redis缓存,PolarDB 分布式版水平/垂直拆分,支持并行计算,解决高并发、存储容量、在线计算的扩展性难题;借助于DTS的实时同步能力,让数据流动起来,借助PolarDB MySQL版,AnalyticDB的大数据处理能力,决策报表从分钟级别降低至秒级.云数据库HBase增强版提供全文索引方案,通过BDS实现HBase与Solr之间的数据实时同步...
来自: 云产品
构建云上OLTP+OLAP数据库服务解决方案
HTAP是OLTP和OLAP的组合数据库技术,既能保证事务,满足线上业务高效数据读写需求,同时还能兼顾海量数据实时分析查询需求。
OLAP数据本身就是应对高计算、高磁盘IO消耗类查询,此方案实现二者物理隔离,绝无资源争抢.OLTP与OLAP完全物理隔离,无资源争抢,互不影响.部署OLTP数据库.购买PolarDB实例,创建账号与逻辑库.部署OLAP数据库.购买ADB MySQL集群,创建账号与对应OLTP的逻辑库.建立数据同步链路.购买DTS同步链路,配置好要同步的数据库、表...
来自: 解决方案
阿里云大数据&AI
阿里云大数据和AI产品服务。开放数据处理服务ODPS提供强大的数据分析和管理功能;开源大数据产品支持更加灵活地构建大数据平台;AI和机器学习产品提供AI工程平台和智算服务。
是目前中国唯一自研,规模最大,能同时支持超过10万台服务器并行计算的大数据平台.阿里云ODPS生态建设.实时数据中台、亚秒级融媒体数据分析、承载5倍数据洪峰.行业场景最全数据中台,打造亚洲最大的智能制造车间.数据打通200+系统,提升城市精细化管理和精准化服务.支撑“统一标准”、“全面覆盖”、“数据融通”的数据中台...
来自: 云产品
消息服务MNS
消息服务 MNS 是一款易集成、高并发、可弹性扩展的轻量消息队列服务。消息服务的轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力,让开发者低成本快速构建分布式、松耦合系统,高效地传递数据和通知消息。
减少请求、提升效率和系统并行能力,提高系统吞吐量.消息推送通知是运营方法中使用频率较高的一种。它可以在某个时间节点提醒用户进行某项操作,比如上新活动推送、有趣新闻内容提醒、或派送优惠券通知等,增强用户黏性.设计运营通知.云消息队列 MQ.推荐搭配使用.用户信息注册.用户信息注册.通过奖品队列,完成用户在线抽奖...
来自: 云产品
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群,自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本,提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率,更有效保障数据安全,把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
海量任务分布式并行执行,全面加快任务执行速度,相比消息队列避免调用高峰拖垮在线业务,大幅降低使用成本.低成本海量数据处理.分布式任务调度.分布式任务统一调度.产品演示视频.Serverless 实例.相比开源自建,MSE 有哪些优势?商业版 Ingress 有哪些优势?物理机和虚拟机客户如何使用云原生网关?至少每月做一次迭代,...
来自: 云产品
计算机软件著作权登记
全新支持APP/小程序全程在线电子化登记,无纸化线上极速办理,助力APP便捷上架,最快3个工作日拿证。在线填写,系统纠错,全流程可视化,申请进度实时掌控,阿里云开启知识产权一站式专业服务。
阿里云计算机软件著作权登记,全新支持APP/小程序全程在线电子化登记,无纸化线上极速办理,助力APP便捷上架,最快3个工作日拿证。在线填写,系统纠错,全流程可视化,申请进度实时掌控,阿里云开启知识产权一站式专业服务。
来自: 云产品 | 相关产品:版权与专利,软件著作权申请,源代码版权申请,计算机软件著作权,软件著作权代码,APP/小程序软件著作权在线登记,APP著作权,软件著作权
通义灵码助力函数计算FC实现函数编写
通义灵码助力函数<em>计算</em>FC实现函数编写
现在社会软件开发的复杂性不断增加,服务器配置和运维管理更复杂、开发效率变低。函数计算FC采用无服务器计算模式,用户只需要关注业务逻辑的实现,无需关心底层的服务器配置和运维管理,从而大大降低了运维成本和复杂性,而且具有弹性伸缩、快速部署、按需使用按量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具,可以帮助开发者快速编写高质量的代码,为开发者提供了强大的编程辅助功能。两者的结合让开发者可以更高效地编写函数代码,简化部署流程,提高开发效率。
函数 FC采用无服务器计算模式,用户只需要关注业务逻辑的实现,无需关心底层的服务器配置 和运维管理,从而大大降低了运维成本和复杂性,而且具有弹性伸缩、快速部署、按需使用按 量付费的特点。通义灵码是阿里云出品的一款基于通义大模型的智能编码辅助工具,可以帮助 开发者快速编写高质量的代码,为开发者提供了强大...
来自: 最佳实践 | 相关产品:函数计算,通义灵码
基于函数计算FC实现物联网音视频处理
基于函数<em>计算</em>FC实现物联网音视频处理
在物联网场景中,智能设备会产生大量的非结构化数据,并且采集量和频率都很高。比如各类摄像头(家用摄像头、车载摄像头、工业监控摄像头等)采集的数据。企业需要对这些非结构化数据做快速的分析和处理,然后应用到下游业务中,所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
使用函数 ,您无需采购与管理服务器等基础设施,只需编写上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,提供日志查询、性能监控和报警等功能。 云工作流(CloudFlow):是一个用来协调多个分布式任务执行的全托管云服务。在云工作 流中,您可以用顺序、分支、并行等方式来编排分布式...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC镜像部署Stable Diffusion大模型
基于函数<em>计算</em>FC镜像部署Stable Diffusion大模型
在现代AI应用中, Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
函数 FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大 规模的请求下稳定运行。方案优势 简化模型部署流程 全链路自适应弹性,无需为流量峰谷做频繁的手工处理 内置CICD平台能力,灰度,回滚,监控开箱即用 按量付费模式,没有资源闲置费用 产品介绍 函数计算 FC(Function Compute):函数...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算FC实现大语言模型部署
基于函数<em>计算</em>FC实现大语言模型部署
在现代AI应用中, Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而,这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑,而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境,包括冷启动、弹性伸缩等,确保模型能够在大规模的请求下稳定运行。
模型灵积服务(DashScope)钉钉搜索钉群号 11721331入 基于函数计算 FC实现 大语言模型部署 最佳实践 文档版本:20240429 基于函数计算 FC实现大语言模型部署最佳实践 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 基于函数计算FC实现大语言模型部署最佳实践 文档编号 377 文档版本 V1.1 版本日期 2024-04-29 ...
来自: 最佳实践 | 相关产品:函数计算
基于函数计算实现直播流录制-存储-通知
基于函数<em>计算</em>实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务,大部分场合都需要对直播相关的业务做安全审核,或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
使用函数 ,您无需采购与管理服务器等基础设施,只需编写上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,提供日志查询、性能监控和报警等功能。阿里云对象存储 OSS(Object Storage Service):是一款海量、安全、低成本、高可靠的 云存储服务,可提供 99.9999999999%(12个 9)的数据持久...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数<em>计算</em>FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
使用函数 ,您无需采购与管理服务器等基础设施,只需编写上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,提供日志查询、性能监控和报警等功能。云消息队列 Kafka 版:云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数<em>计算</em>FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
使用函数 ,您无需采购与管理服务器等基础设施,只需编写上传代码或镜像。函数计算为您准 备好计算资源,弹性地、可靠地运行任务,提供日志查询、性能监控和报警等功能。 云消息队列Kafka 版:云消息队列Kafka 版是阿里云提供的分布式、高吞吐、可扩展的 消息队列服务。云消息队列Kafka版广泛用于日志收集、监控...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
基于云速搭CADT快速构建药物筛选批量<em>计算</em>环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
b)ehpc_serverless:serverless 版本的 HPC高性能计算集群,是批量计算主 文档版本:20240204 1 基于云速搭 CADT部署药物筛选批量计算环境-Serverless版 最佳实践概述 要的力环境,按使用时长和规格付费。c)acr-for-ehpc-image:容器镜像服务 ACR实例,ehpc集群运行时需要提供一 个容器镜像,这些镜像通常由用户打包后上传...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用