大数据近实时数据投递MaxCompute
大数据近实时<em>数据</em>投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
获取 Kafka 接入点 在 EMR Kafka集群页面,展开 emr_core_1后有三个节点,记录这三个 IP地 。记录上述地址,后续章节需要用到。192.168.0.231,192.168.0.232,192.168.0.233 3.2.配置 App Server 应用环境 CADT架构图,双击 ecs“业务应用”,点击 远程登录。文档版本:20240419 12 大数据近实时数据投递 MaxCompute...
来自: 最佳实践 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
步骤2 选择 MaxCompute Java进入下一步(本文使用 Java语言开发 UDF函数处理 IP地 。文档版本:20211213 74 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤3 输入项目名称创建项目。文档版本:20211213 75 基于 MaxCompute的大数据 BI分析 DataWorks大数据处理 步骤4 把 IP处理的源码(从 democode获取)...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
云速搭-ECS结合网络相关优化方案
云速搭-ECS结合网络相关优化方案
本实践设计了不同的ECS结合网络部署方案,并使用云速搭CADT做预算,可以快速对比出不同方案根据当前账户的折扣的价格差,根据需要部署系统的需求和享有的折扣,可以灵活配置ECS和网络产品,节约成本。
专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境,实现应用的平滑迁移上云。详见:https://www.aliyun.com/product/vpc 云服务器 ECS:云服务器 ECS(Elastic Compute Service)是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
(2)在环境搭建过程分配公网 IP地址仅 用于 SSH登录和必要的软件包下载,在环境搭建完 成之后,建议释放部分公网 IP地址。安全组 使用默认安全组,并勾选 80,443,22,3306,9200,5601端口 系统配置 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明:记录下设置的登录密码,后续登录要用到。确认密码 再次输入...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
云速搭部署 NAS 文件系统
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
资源规划清单 资源类别 配置项 配置明细 说明 区域 区域 华东 1(杭州)本最佳实践全部资源部署在 杭州(主数据中心)专有网络 状态 新购(根据实际情 云上选择专有网络(VPC)VPC 况选择新购或已保 以保障安全性。有,本最佳实践新 选择离原系统公网 IP近的云 购 VPC)上区域减少网络延迟。选择资源丰富、离用户近的 VPC名...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
云速搭部署 ALB 实现负载分发
云速搭部署 ALB 实现负载分发
本实践通过云速搭构建一个基于 http(s)的负载均衡业务架构,实现终端浏览器发起http(s)请求后,经过 ALB 监听配置的转发规则,分别负载分担到后端 ECS 服务器、CLB 和 ACK 集群。
然后添加后端服务器,单击添加 IP,输入 CLB的私网 IP地址(可在 CADT架构 图双击 CLB在下方详情获取)。文档版本:20211028 28 云速搭部署 ALB实现负载分发 验证通过 ALB转发到CLB实现负载分发 文档版本:20211028 29 云速搭部署 ALB实现负载分发 验证通过 ALB转发到CLB实现负载分发 步骤11 ALB配置转发规则。1.实例里找到...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,云速搭CADT
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
记录 ADshanghai的公网 IP:文档版本:20201210 15 远程办公-AD管控下的弹性云桌面最佳实践 场景 1:新建云上 AD并在同一 VPC部署云桌面 步骤4 打开远程桌面连接,输入 AD服务器公网 IP地址,以 administrator身份登录。文档版本:20201210 16 远程办公-AD管控下的弹性云桌面最佳实践 场景 1:新建云上 AD并在同一 VPC...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
SourceEndpointInstanceI vpc-bp1XXXX1v 数据库实例 ID,本例填 D 写 ecs-magento所关联到 的 VPC ID SourceEndpointIP 192.168.100.7 数据库连接地址,ecs-magento的私网 IP地 。SourceEndpointPort 3306 数据库端口 SourceEndpointUserNam root 数据库实例用户名 e SourceEndpointPassword 123456 数据库实例密码 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
云速搭部署安全组最佳实践
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境,实现应用的平滑迁移上云。详见:https://www.aliyun.com/product/vpc 云服务器 ECS:云服务器 ECS(Elastic Compute Service)是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭CADT
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
云企业网可帮助您在不同地域 VPC 间,VPC与本地数据中心间搭建私网通信通道,通过自动路由分发及学习,提高 网络的快速收敛和跨网络通信的质量和安全性,实现全网资源的互通,帮助您打 造一张具有企业级规模和通信能力的互联网络。详见:https://www.aliyun.com/product/cbn 访问控制 RAM:是阿里云提供的管理用户身份与...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
基于转发路由器构建企业级组网
基于转发路由器构建企业级组网
通过云企业网转发路由器 1. 实现灵活的互通、隔离、引流策略 2. VPC 间的内网互访流量经过三方安全设备管控(如Palo Alto) 3. 统一多 VPC 的互联网访问出口,提高业务安全性
云企业网可帮助您在不同地域 专有网络 VPC(Virtual Private Cloud)之间、VPC与本地数据中心间搭建私网通 信通道,实现同地域或跨地域网络互通;同时,云企业网支持在地域内定义灵活的 互通、隔离、引流策略,帮助您打造一张灵活、可靠、大规模的企业级全球互联网 络。产品详情:https://www.aliyun.com/product/cbn TR:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网
云速搭部署基于OSS的Nextcloud网盘
云速搭部署基于OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
专有网络由逻辑网络设备(如虚拟路由 器,虚拟交换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成 一个按需定制的网络环境,实现应用的平滑迁移上云。详见:https://www.aliyun.com/product/vpc 云服务器 ECS:云服务器 ECS(Elastic Compute Service)是一种简单高 效、处理能力可弹性伸缩的计算服务。帮助您...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
跨云迁移单写双读过渡架构
跨云迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
步骤12 找到 Demo的 database-service.yaml文件,替换 externalName为 RDS的内网 。文档版本:20201209 23 跨云迁移单写双读过渡架构 服务器和数据迁移 步骤13 拷贝 database-service.yaml的内容使用模板创建 service。文档版本:20201209 24 跨云迁移单写双读过渡架构 服务器和数据迁移 3.2.数据迁移 步骤1 进入 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
通过API处理分账账单.31 附录1:资源规划清单.32 网络资源规划.32 弹性计算资源规划.33 存储资源规划.35 数据库资源规划.35 大数据资源规划.36 文档版本:20210128 V 多账号下企业分账最佳实践 最佳实践概述 最佳实践概述 方案概述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行<em>数据</em>查询
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
同时, 据中台的快速推进,使数据应用主要为数据支撑、用户画 像、实时圈人及广告精准投放等核心业务服务。高可靠和 低延时地数据服务成为企业数字化转型的关键。Hologres致力于低成本和高性能大规模计算型存储和 强大的查询能力,为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
开源Flink迁移实时计算Flink全托管版最佳实践
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务(包含Datastream、Table/SQL、PyFlink任务)迁移至阿里云实时计算全托管版。
比如聚合任务按小时、天维度计算的聚合值,清洗任务加工的按天分区表等,在数据对比时就可以根据对应的时间周期来进对比,比如小时周期的任务实际已完整处理多个小时数据 后,就可以对比处理过的小时 ,而天维度的聚合值,一般就需要等待新任务处理完完整的一天 后才能对比。2、数据规模 数据规模:建议进行全量...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库RDS MySQL 版,E-MapReduce,实时计算,消息队列 Kafka 版,云速搭CADT
组建多可用区多地域的混合云
组建多可用区多地域的混合云
场景描述 无特定行业属性,对云下有IDC的用户,上云建 立多地域多可用区高稳定性的业务架构,组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式,但成本 较高,交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC,CEN,高速通道(专线),SLB,ECS
VBR Virtual border VBR是 CPE(Customer-premises equipment)设备和 router VPC之间的一个路由器,作为数据从 VPC到本地数据 中心的转发桥梁。IDC Internet Data 客户线下物理机房 Center SLB Server Load 对多台云服务器进行流量分发的负载均衡服务,可以通 Balancer 过流量分发扩展应用系统对外的服务能力,通过消除单 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云企业网,高速通道,云速搭
混合云多云统一安全
混合云多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
IP地址IP地址是它云 VPN网关的 IP地址,本最佳实践是 2.2.VPN的 VPN 地址,123.206.22.236。文档版本:20200630 11 混合云多云统一安全 自建虚拟机网络和测试 步骤3 在用户网关列表可以看到新创建的用户网关。3.1.4.创建 IPsec连接 步骤1 在左侧导航栏选择 VPN>IPsec连接,并单击创建 IPsec连接。文档版本:...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
企业上云数据安全
企业上云<em>数据</em>安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
如下图所示:使用服务器端加密,OSS将数据保存到数据中心的磁盘之前进行加密,并且在下 载对象时自动进行解密。流程如下图:对于客户端加密方式,分为用户自己管理密钥加密(CSE-C)和 KMS 托管密钥(CSE-KMS)加密两种,如下图所示:文档版本:20210809 28 企业上云数据安全 OSS数据加密 使用客户端加密,可以使用客户端...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
云速搭构建大规模云手机压测集群
云速搭构建大规模云手机压测集群
在互联网游戏行业新游发行前、金融行业的基金或券商APP在大版本更新前,均需要将APP部署到大规模测试环境中进行压测,确保大规模并发场景下对APP本身可靠性和后台业务系统的稳定性及资源准备情况做好验证。 本实践设计一个游戏压测场景,在阿里云的多地域快速部署共一万台云手机,每台云手机之间网络可互通,每台云手机通过阿里云提供的NAT网关可访问互联网。
步骤3 测试连接上海、北京地域部署的云手机(云手机 IP地址可从云手机控制台查看)1.打开上海云手机链接:https://cloudphone.console.aliyun.com/#/instances/cn- shanghai 文档版本:20220901 13 云速搭构建大规模云手机压测集群 云速搭架构模板准备 2.打开杭州云手机链接:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关,云企业网,云速搭CADT,弹性云手机
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用