自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
拥有已经通过备案的域名 开通 ECS、OSS、Databricks数据洞察、RDS和 VPN网关等服务。文档版本:20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 资源规划说明 资源规划说明 本方案仅作为实践演练使用,在生产环境中执行时请结合业务系统实际架构进行 调整。本方案购买的所有云产品规格均为演示需要,请...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
云上成本优化workshop
云上成本优化workshop
某金融科技公司,它主要提供信贷,理财,电商等 服务,目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后,今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障,运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务, 白天的催收非常依赖晚上大数据计算的结果,若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做,会对公司业务造成严重影响。 后来,通过阿里云解决方案架构师建议的方案,将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法,目前已阶段性的解决因资源不足导致弹性扩 容失败的问题,但该方案在 Spot 计算资源不足 时,启用大量按量收费算力,带来了较高的成本, 并且抢占式实例和按量付费实例都不保证资源 100%交付,还是存在交付失败的可能性,特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在,就进一步增加了弹性扩 容失败的风险,从而影响业务正常运行。
系统基于模板生成应用架构图:文档版本:20210329 5 云上成本优化 workshop 架构设计 注意:业务 k8s集群,使用了 EIP暴露 API Serve(可将 r EIP加入到后面的共享带宽包,同时,为集群打上了标签 team:team1)K8s集群,通过统一的 NAT网关,访问外 EMR集群,采用了高可用的部署方式(同时,为集群打上了标签 team:team...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
提供符合 K8s Ingress 标准的下一代网关,将流量网关、微服务网关和 WAF 安全网关三合一,具备高集成、易使用、易扩展、热更新的特点.三合一网关同时完成流量分发、微服务治理和 Waf 防护,优化链路 RT,降低网关的运维复杂度.缩短网关转发链路.打通 K8s/Nacos 等多种服务来源,从网关到后端服务,通过过载保护、故障自愈、...
来自: 云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一,主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品,向客户提供高度自动化的标准化产品对网络功能、计算机(虚拟或专用硬件)和数据存储空间进行访问,同时支持灵活扩展,可以直接使用自助服务界面。
弹性公网 IP.NAT 网关.VPN 网关.智能接入网关.网络智能服务.DDoS 防护.Web 应用防火墙.数字证书管理服务.密钥管理服务.运维安全中心.办公安全平台 SASE.数据安全中心.应用身份服务.终端访问控制 UEM.容器服务 ACK.容器服务 Serverless 版 ASK.Serverless 应用引擎 SAE.函数计算 FC.容器镜像服务 ACR.企业级分布式应用服务 ...
来自: 云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
配置 说明 共享名称 自定义,smb-shared 缓存路径 选择之前创建的缓存盘,共享目录>缓存盘>OSS 缓存容量 建议 40GB以上 传输加速 传输加速会提高跨域情况下数据传输速度充分利用 的公网带宽,请确保所选用的 OSS bucket已经打 文档版本:20210525 51 本地数据中心基于 SMB/NFS协议访问对象存储 配置本地云存储网关 开 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
CCN:云连接网(Cloud Connect Network),云连接网是由阿里云分布式接入 组成的设备接入矩阵。您可以将多个智能接入网关终端绑定到云连接网,然后 将云连接网绑定到云企业网,实现线下接入矩阵和云上中心矩阵连接。SAG:智能接入网关(Smart Access Gateway),智能接入网关(Smart Access Gateway)是阿里云提供的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
云原生
阿里云拥有丰富的云原生产品家族,全面的云原生开源贡献,大规模的云原生应用实践,以及广泛的云原生客户群体,为企业数字创新提供全方位能力支撑。
流量网关、微服务网关安全网关合三为一,减少50%资源消耗.提供网关到后端服务的链路流控和灰度能力.支持多种认证授权方式,统一管理 API 和服务的安全设置.微服务引擎 MSE.应用实时监控服务 ARMS.Web 应用防火墙 WAF.应用身份服务 IDaas.推荐搭配使用.通过容器服务ACK实现业务应用层面的弹性,数据库PolarDB随需弹性扩...
来自: 云产品
云网络
阿里云云网络为企业提供了完善的云上网络、跨地域网络、混合云网络产品体系和可满足不同场景的网络解决方案。经过多年的自主研发,洛神云网络平台,具备了超大规模、超高性能、弹性开放能力,服务百万用户,连续多年支撑双11。
全球Web应用安全加速.为Microsoft Office 365、Salesforce、SAP 等企业应用提供网络加速和应用加速服务.全球企业应用安全加速.通过全球加速产品的IPv6接入能力,将IPv6客户接入全球加速.IPv4应用服务IPv6客户.全球加速GA.全球应用加速.我们的功能优势.越来越多的企业应用使用云原生技术构建,云原生应用网络提供更大的规模...
来自: 云产品
开发工具
阿里云提供一系列开发工具帮助你更快捷、高效地开发与运维。通过云效、API等助力创新创业和数字化转型企业快速实现研发敏捷和组织敏捷。
提供API托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等API各个生命周期阶段.API 网关.网络安全升级支持IPV6.天弘基金成立于2004年11月8日,是经中国证监会批准设立的全国性公募基金管理公司之一,目前注册资本5.143亿元。2013年,天弘基金与支付宝合作推出余额宝,是天弘余额宝货币市场基金管理...
来自: 云产品
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
Web-Client-Auth,Web-Digest-Auth,Web-Dir-Browsing,Web-Dyn-Compression,Web-Http-Errors,Web-Http-Logging,Web-Http-Redirect,Web-Http-Tracing,Web-ISAPI-Ext,Web-ISAPI-Filter,Web-Lgcy-Mgmt-Console,Web-Metabase,Web-Mgmt-Console,Web-Mgmt-Service,Web-Net-Ext45,Web-Request-Monitor,Web-Server,Web-Stat-...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
VPN网关:VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方 式实现企业数据中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连接。VPN网关提供 IPsec-VPN连接和 SSL-VPN连接。IPSec VPN:基于路由的 IPsec-VPN,不仅可以更方便的配置和维护 VPN策 略,而且还提供了灵活的流量路由方式。您...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
中小企业基于SAG APP实现云上移动办公
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
详见:https://www.aliyun.com/product/cbn CCN:云连接是由阿里云分布式接入网关组成的设备接入矩阵,可以将云连接 绑定到云企业,实现线下接入矩阵和云上中心矩阵连接。SAG:智能接入网关(Smart Access Gateway)是阿里云提供的一站式快速上云 解决方案。企业可通过智能接入网关实现 Internet就近加密接入,获得...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
全球加速 GA
阿里云全球加速GA(Global Accelerator)是一款覆盖全球的互联网加速服务,实现网络服务全球范围就近接入和跨地域部署。依托阿里云优质的全球网络大幅减少网络延迟、丢包,传输效率提升10+倍。在跨境加速/游戏加速/应用加速等场景中为用户构建一个高性能、高可靠、高安全、易部署的加速网络。
连接帮助您在阿里云VPC中通过私有网络安全稳定的访问部署在其它VPC中的服务,大幅简化网络架构,避免公网安全风险.私连接PrivateLink.某企业Web服务部署在美国地域的阿里云上,主要网络问题:跨国公网不稳定,经常出现延迟/抖动/丢包等问题;后端服务器不稳定,业务存在中断风险。通过使用GA网络加速能力,用户可以...
来自: 云产品
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
安全加固 Active CLB 支付方式 按量计费 实例规格 简约型 I(slb.s1.small)主可用区 华东 1 可用区 H 备可用区 华东 1可用区 I 实例类型 私 计费类型 按使用流量计费 IP版本 IPv4 ACK 集群规格 Pro版 Kubernets 1.18.8-aliyun.1 版本 容器运行时 Docker 19.03.5 Worker部署 cn-hangzhou-i 可用区 文档版本:20211028 6 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
发布服务
移动发布服务,源于阿里云移动开发平台。移动发布服务为移动应用提供版本升级包、热修复包的动态发布与管理能力。更可借助白名单进行灰度发布,自定义高级过滤规则如指定机型、人群从而进行更精准的定向发布。让 App 开发如积木搭建般轻松,业务动态更新、代码多端运行、摆脱发版制约。
网关服务 MGS.数据同步 MSS.移动分析 MAS.智能投放 MCDP.消息推送 MPS.解决方案:移动智能营销.解决方案:视频云营业厅.解决方案:APP安全合规.发布服务 MDS.移动开发平台.更多产品与服务.让 App 变成平台,服务按需加载,实现业务动态更新。一套代码多端运行,统一业务模块开发标准。快速发布,不依赖客户端发版.业务模块...
来自: 云产品
互联网电商行业离线大数据分析
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
 弹性公网IP:是独立的公网IP资源,可与阿里云专有网络VPC类型的云服务器ECS、NAT网关、ENI 网卡、私负载均衡SLB绑定,并可以动态解绑满足灵活管理的要求。弹性公网IP可为您在云上部署 的网站提供Internet访问服务。 云数据库 RDSMySQL 版:基于阿里巴巴的 MySQL源码分支,经过双十一高并发、大数据量的考 验,拥有...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
WAF
面向全球用户提供安全防护的云计算安全-阿里云安全
安全访问代理.通过阿里云全球 POP 接入点就近转发企业流量至公有云或 IDC.就近安全接入.统一管控企业身份体系,每次访问都校验请求者的身份和权限.统一身份校验.应用接入和隐身,实现暴露面的收敛.应用安全管理.对每次请求的行为和登录状态进行动态的风险分析并预警.动态持续分析.办公零信任安全解决方案.适用于需要将云上...
来自: 云产品
云网络解决方案
云网络解决方案构建安全隔离的云上私有网络环境。通过集群和跨可用区部署,实现网络服务高可用。打造安全、高速的企业上云通路。多种连接方式可供用户灵活选择。设备、链路、节点多重高可用设计。企业应用全球加速,提升用户体验。连接跨地域网络只需几分钟。路由智能自动学习,无需人工配置,简化运维难度。
跨地域Web安全加速.联动WAF和GTM实现企业ERP应用加速.加速指定IP的后端服务.全球应用加速.国内领先的IT技术服务提供商,致力于为企业及个人用户在云时代的成功腾飞技术赋能。驻云与阿里云合作提供混合云网络解决方案的咨询、实施和运维管理服务.中国最大的民营互联网接入服务提供商。旗下拥有长城宽带、北京电信通、宽带通...
来自: 解决方案
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
ᅳ 使用云产品时,只能通过 API获取当前登录用户的网关列表,防止越权访问 信息。ᅳ 使用云产品访问网关数据库时,需通过用户临时 AK和网关 ID进行权限验证,防止越权访问网关下的数据库信息。易用:无需大量的网络配置和路由配置,仅需要简单几步,就可以在 1分钟内将 本地数据库接入阿里云。低成本:提供免费的数据库...
来自: 最佳实践 | 相关产品:数据传输,数据管理
云服务器 ECS
阿里云服务器ECS是一种处理能力可弹性伸缩的云主机虚拟服务器,它使服务器托管更安全稳定,可降低开发运维成本,支持包年包月、按量付费等模式,方便财务更好管理
数据安全ECS和SLB提供了安全组、防火墙、DDoS防护、端口入侵检测等服务,同时RDS提供了自动备份、异地灾备等功能,方位保证数据的安全和可靠性。弹性扩展数据传输服务DTS的数据同步和数据订阅功能结合云数据库RDS MySQL,可保障数据链路的全面同步,同时兼顾数据安全、异地容灾等高级需求。相关产品云服务器ECS本产品专有...
来自: 云产品
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用