基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 基于弹性供应组构建大数据 分析集群最佳实践 文档版本:20200619 文档版本:20150122(发布日期)II 基于弹性供应组构建大数据集群分析 文档版本信息 文档版本信息 ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
云Clickhouse冷热数据分层存储
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案,本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系,稳定性高,数据倾斜自动均衡。 2. 完善的数据同步链路,可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse,降低研发成本。 3. 平滑升级版本,业务中断小。 冷热分层后透明读取,帮客户节约整体数据存储成本。
高可靠存储引擎:基于阿里飞天分布式系统的云盘存储,充分利用云平台存储 文档版本:20210416 1 云 ClickHouse冷热数据分层存储最佳实践 最佳实践概述 可靠性特性。数据闭环流通:与云上日志系统、数据库、数据应用工具无缝集成,能便捷地进 行数据同步,降低数据迁移工作量。架构灵活:支持单节点、单副本、多节点、多副本...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,日志服务(SLS),云数据库 ClickHouse
云数据库产品总览(瑶池)
阿里云提供完善的数据库解决方案,多款数据库产品,满足99%的业务场景,荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求;运维工作量大幅减少,让企业一站式享受数据上云及分布式架构的技术红利!
适用于任何规模,多种模型的云原生数据库服务,融合宽表、时序、搜索及文件四种数据引擎.完全兼容MongoDB协议,支持副本集和片集群两种部署架构,具备安全审计,时间点备份等多项企业能力.功能丰富、高性能、低成本、灵活易用的数据仓库服务,全面兼容MySQL协议以及SQL:2003 语法标准.支持SQL:2003,兼容PostgreSQL/...
来自: 云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费,是互联网、IoT、车联网、广告、社交等场景首选数据库,也是为阿里核心业务提供支撑的数据库之一。
宽表引擎、时序引擎和搜索引擎完美融合,实现存储与检索的一体化使用,支持宽表引擎和时序引擎的数据实时同步到搜索引擎,满足海量数据下的存储、多维查询、全文索引等统一混合访问的场景需求.内置二级索引、倒排索引、时序索引等多种组织格式,满足海量数据的快速查询处理.丰富的数据检索.支持数据全球分布和透明的多主...
来自: 云产品
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库,它可提供低成本、高性能的存储方案,同时也可提供稳定与极致的数据服务。
分布式LSM存储引擎,每秒百万消息写入,毫秒级同步库拉取.解决方案及优势.帮助某IM工具实现了核心消息系统的全面重构,提升了扩展性和安全性。支撑了疫情期间持续的数据峰值,节省成本60%以上.方案效果与价值.云服务器 ECS.函数计算 FC.大数据计算服务 MaxCompute.推荐搭配使用.场景描述及概要.智能家居中如智能床中提供的...
来自: 云产品
人工智能平台 PAI
阿里云人工智能平台 PAI 涵盖交互式建模、可视化建模、分布式训练到模型在线部署全流程;快速搭建人工智能推荐系统;深度学习模型训练速度提升数十倍;减少50%GPU成本
在CSDN信息流推荐中使用PAI推荐方案,内容搜索推荐CTR提升80%.人工智能平台 PAI是面向开发者和企业的AI工程化平台,提供了覆盖数据准备、模型开发、模型训练、模型部署的全流程服务.人工智能平台 PAI产品功能.在数据准备阶段,PAI-iTAG 提供智能化数据标注服务,支持图像、文本、视频、音频等不同类型数据标注,支持多模态...
来自: 云产品
互联网、电商Elasticsearch搜索
互联网、电商Elasticsearch<em>搜索</em>
场景描述 每一个生活在互联网中的用户,每天都在经 历各种各样的“搜索”,查找电商网站商品、 信用卡账单、查电子发票、查附近的餐厅酒 店、查偶像、查交通等等。相对于传统的关 系型数据库,Elasticsearch只需要几毫秒的 时间,即可查询PB级数据并从中找到匹配 信息。利用Elasticsearch高可用性和易用 性,能够快速处理网站、APP丢给它的文本、 数字、日期、IP以及地理数据。 解决问题 1.电商网站商品、订单、物流等搜索 2.保险行业保单查询 3.互联网教育行业课程搜索 4.O2O行业地理位置搜索等 产品列表 云服务器ECS 专有网络VPC 负载均衡SLB 云数据库RDSMySQL版 Dataworks Elasticsearch 数据传输服务DTS
配置 Elasticsearch搜索引擎 说明:此部分演示电商网站 Demo搜索引擎替换为 Elasticsearch搜索引擎,真实的业 务系统一般前端会对接 App Server,Server端通过第三部分的 API对接 Elasticsearch 搜索引擎。此部分非必须,如果需要做演示可对接这部分。步骤1 使用电商网站的公网 IP/admin登录电商网站后台管理系统。步骤2 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,DataWorks,Elasticsearch
便携智能语音一体机
便携智能一体机由达摩院结合应用场景现有问题和用户实际需求,由智能语音识别技术+智能采集阵列硬件+先进的音频处理算法组成。 打破传统场景记录方案,完美解决记录速度慢、记录不完整、速记成本高的问题。具备会后记录实时成稿,参会人无感使用,无需布线等特点,让用户使用更加轻松,记录效率更高
对时长较短(一分钟以内)的语音进行识别,适用于较短的语音交互场景,如语音搜索、语音指令、语音短消息等,可集成在各类App、智能家电、智能助手等产品中.语音合成服务,通过先进的深度学习技术,将文本转换成自然流畅的语音。目前有多种音色可供选择,并提供调节语速、语调、音量等功能。适用于智能客服、语音交互、文学...
来自: 云产品
基于云拨测的网站用户体验监测最佳实践
基于云拨测的网站用户体验监测最佳实践
网站作为电商行业开展业务的核心场景,不同区域、不同运营商、不同的终端用户,给网站体验带来了巨大的一致性挑战。打开卡顿、缓慢,甚至无响应,都会影响到运营效果、甚至出现负面影响。阿里云基于多年业务经验,为云上客户提供完整的电商网站运营期间的用户体验监测方案。
基于阿里云分布式文 件系统和 SSD盘高性能存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(高度兼容 Oracle)和 MariaDB引擎,并且提供了容灾、备份、恢复、监 控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。更多信息,请参考:https://www.aliyun.com/product/rds/mysql CADT:是一款为上云应用提供自助...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,弹性公网IP,云速搭,云拨测
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。云速搭 CADT:是一款为上云应用提供自助云架构管理的产品,显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
RDS基于阿里云分布式文件系统和 SSD盘高性 能存储,支持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提 供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维 的烦恼。更多信息,请参见云数据库 RDS MySQL 版简介(https://www.aliyun.com/product/rds/mysql)。DataWorks:是一个提供了...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
自建K8S集群迁移ACK弹性裸金属集群
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后,企业在享受K8S带来应 用管理的便利的同时,存在硬件性能不足,本 地扩展性差,容器容灾难,K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性:如何通过弹性裸金属服务 器的强劲硬件性能,实现云端资源急速扩 展,从容应对应用访问压力大的问题。 2.如何简化云端K8S运维:通过阿里云容器服 务(ACK)实现敏捷开发和部署落地,加速 企业业务迭代。 3.如何综合考虑迁移和容灾:如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云:如何实现应用上云数据 库连接零修改。 5.数据库上云及回退:如何实现上云回退; 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。详 见:https://www.aliyun.com/product/rds/mysql DTS:Data Transmission Service,简称 DTS,是一种集数据迁移、数据...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,NAT网关,弹性裸金属服务器(神龙),云速搭
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面全套解决方案,彻底解决数据库运维烦恼。详见:https://www.aliyun.com/product/rds/mysql 文档日期:20210726 V 云上持续审计合规最佳实践 目录 目录 文档版本信息.I ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS支 文档版本:20220208 III Dubbo应用上云 前言 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎,提供了容灾、备份、恢复、监控、迁移等方面的全套解决方案,彻底解决数据库运维的烦恼。更 多信息,请参见:https://www.aliyun.com/product/rds/mysql ARMS:应用...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
基于阿里云分布式文件系统和 SSD盘高性能 存储,RDS支持 MySQL、SQL Server、PostgreSQL、PPAS(高度兼容 Oracle)和 MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方面的全套解决 方案。文档版本:20210721 IV 自建Hive数据仓库跨版本迁移到阿里云 EMR 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
分布式计算框架MaxFrame发布,高效、一站完成Data+AI开发.MaxCompute发布按量付费闲时版,计算成本至高节省66.66%.MaxCompute 物化视图智能推荐发布,CU算力节省14%.MaxCompute 跨地域灾备邀测发布,提升数据安全性.MaxCompute 架构升级及开放性解读.阿里云大数据智能计算平台ODPS入选2022世界互联网领先科技成果.TPCx-BB...
来自: 云产品
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
更多 信息,请参见:www.aliyun.com/product/bigdata/product/elasticsearch 文档版本:20210517 III 基于 Elasticsearch的订单检索加速最佳实践 前言 DataWorks:DataWorks基于 MaxCompute/EMR/MC-Hologres等大数据计算 ,为客户提供专业高效、安全可靠的一站大数据开发与治理平台,自带阿里巴 巴数据中台与数据治理...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
容器Swarm集群向ACK集群灰度迁移
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善,越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
基于阿里云分布式文件系统和 SSD盘高性能存储,RDS 支持 MySQL、SQL Server、PostgreSQL、PPAS(Postgre Plus Advanced Server,高度 兼容 Oracle数据库)和 MariaDB引擎,并且提供了容灾、备份、恢复、监控、迁移等方 面的全套解决方案,彻底解决数据库运维的烦恼。文档版本:20190401 III 容器 Swarm集群向 ACK集群灰度...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,容器服务 ACK
云数据库HBase
阿里云云数据库 HBase 版(ApsaraDB for HBase)是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库,轻松支持PB级大数据存储,满足千万级QPS高吞吐随机读写场景。
云HBase助力收钱吧低成本、高性能实现订单搜索.云HBase助力点触科技构建日志存储和分析平台,挖掘数据价值,识别刷单、代充值,提升广告转化率、激活率。替换原有Greenplum系统,轻松应对业务量和流量的快速增长.云HBase助力点触科技构建实时计算和数据仓库解决方案.支持海量全量数据快速批量导入以及实时增量数据快速写入...
来自: 云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件,广泛用于日志收集和分析、数据处理等场景。可提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。
云消息队列 Kafka 版是阿里云基于 Apache Kafka 构建的高吞吐量、高可扩展性的分布式消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等场景,是大数据生态中不可或缺的产品之一,阿里云提供全托管服务,用户无需部署运维,更专业、更可靠、更安全.查看产品文档.购买云消息队列 Confluent 版....
来自: 云产品
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用