基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC,可以快速高效的搭建数据处理链路,用户只需要 关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函 产品列表 计算 FC也支持多种下游,OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
DBS通过IPSec VPN备份自建数据库
DBS通过IPSec VPN备份自建<em>数据库</em>
场景描述 客户业务系统部署在IDC或者公有云环境,对业 务数据有云上备份需求。在客户交流过程中,基 于数据高可用和灾备需求,要求将数据备份至阿 里云OSS的存储空间,同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC,ECS,DBS,VPN网关,OSS
扩展性 除了支持备份阿里云数据库,DBS还支持将 ECS自建数据库、本地机房 据库、其他云厂商数据库备份到阿里云上。除了支持恢复到原始数据库,DBS还支持恢复到其他环境,如本地数据库通 过 DBS备份,恢复到阿里云数据库上。文档版本:20210812 2 DBS通过 IPSec VPN备份自建数据库 前置条件 前置条件 在进行本文操作之前,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,数据库备份DBS,云速搭
混合云数据库统一管理
混合云<em>数据库</em>统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
其中杭州部署 MySQL数据库数据库网关,上海部署 PgSQL 据库。注意:上述模板中“自建 MySQL”和“自建 PgSQL”已经和公网 IP绑定,在部署完 数据库软件后,可以解绑公网 IP。模拟仅有内网 IP的数据库服务器。步骤3 部署所有资源。单击部署资源,单击下一步,直到完成资源部署。文档版本:20201224(发布日期)8 混合云...
来自: 最佳实践 | 相关产品:数据传输,数据管理
混合云自有K8S弹性使用ECI
混合云自有K8S弹性<em>使用</em>ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
注:实际当扩展 WordPress Pod实例时,需要使用统一的持久化存储来保证 一致性。本例中重点介绍 ECI的资源使用,故此处简化略去。步骤6 完成以上修改后,在 namespace blog下创建 WordPress应用。文档版本:20210520 49 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 步骤7 创建完成后,点击返回箭头确认应用状态。文档...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
基于湖仓一体架构<em>使用</em>MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象,Hive元数据存储在DLF,外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通,实现元数据统一。最后通过一个毒蘑菇的训练和预测demo,演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向,数据湖偏向灵活性,数据仓 侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊,数据湖自身的治理能 力、数据仓库延伸到外部...
来自: 最佳实践 | 相关产品:对象存储 OSS,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,API网关,数据湖构建,云速搭
视频直播
阿里云视频直播服务(ApsaraVideo Live)是基于领先的内容接入与分发网络和大规模分布式实时流媒体转码技术打造的直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频云高清直播直播服务。
相关产品云服务器ECS云数据库RDS对象存储OSS视频点播媒体处理音视频终端 SDK在线咨询电商视频直播解决方案基于阿里云视频云承载高并发下的视频流处理,使用负载均衡、云主机、云数据库、对象存储和 CDN 支撑电商核心系统。查看详情广电大型赛事直播解决方案阿里云广电级大型赛事直播解决方案为大型体育赛事直播、电子竞技...
来自: 云产品
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
立即购买免费试用快捷入口控制台文档APISDK产品定价常用工具05:03快速了解对象存储 OSS产品动态内容甄选新功能OSS 设置 TLS 版本功能发布2023.09.19新功能OSS 归档直读发布2023.06.30新功能OSS Bucket 存储冗余类型转换发布2023.06.28精选特惠"存"享优惠,新老用户同享2023.11.01最新活动Stable Diffusion 模型,AIGC ...
来自: 云产品
远程办公-AD管控下的弹性云桌面
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时,IT人员通常会面临以下问题,本文希望通过场景实践的方式,示范如何结合使用不同阿里云产品,来解决这些问题:用户如何管理?企业已有AD用户如何上云?云上共享文件服务权限怎么管?数据安全问题有保障吗?该如何设置?云桌面能使用本地机房或IDC中的服务吗? 本文使用的应用场景: 场景1:客户A在云上新建Windows ActiveDirectory(以下简称AD);弹性云桌面,和NAS文件存储服务部署在AD所在的VPC内。场景2:客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3:客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势: 易部署:弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用,配置实时生效,快速完成部署。 低成本:弹性云桌面无需前期传统硬件投资,帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道,比建立专线更便宜,快速实现混合云。 安全性:VPN网关使用IKE(秘钥交换协议)和IPSec对传输数据或进行加密,保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控:通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云,和文件级别的权限管控。
文档版本:20201210 99 远程办公-AD管控下的弹性云桌面最佳实践 附录 2: NAT为云桌面配置网络 步骤5 分别使用杭州 AD用户 1和用户 2登陆位于深圳的云桌面,验证公网访问。文档版本:20201210 100 远程办公-AD管控下的弹性云桌面最佳实践 附录 3:管理策略-数据不落地 附录 3:管理策略 – 数据不落地 云桌面的数据不落地...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,云企业网,VPN网关,云桌面,云速搭CADT
基于ECI+FaaS构建游戏战斗结算服
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中,为了防止客户端作弊,在每局战斗之后,在客户端预判玩家胜利的情况下,需要服务端来进行战斗数据的结算,从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型,结算系统每日需要大量的计算力,尤其是开服或者活动期间忽然涌入的大量玩家,导致需要的计算量瞬间几倍增长,同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出,快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容,化解算力瓶颈,平滑解决暴增调用请求。 2. 降低成本:ECI每天弹性运行8小时,与6代同规格包月相比节省成本40%+,FaaS按需付费,即开即用,节省预留资源消耗。 3. 免运维:FaaS和ECI都是全托管免运维的服务,客户专注业务开发即可。 4. 模块公共化:减轻游戏逻辑服的压力,结算需求复用到类似需求的游戏。
步骤8 继续使用 AccessKey。步骤9 从安全信息管理处获取 AccessKey ID和 AccessKey Secret,记录备用,如果没有 AK 文档版本:20201127 48 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 请先创建。步骤10 从容器控制台获取集群 ID。步骤11 返回到应用目录部署页面。选择参数栏,填写区域为 cn-beijing、填写刚记录的...
来自: 最佳实践 | 相关产品:容器服务 ACK,函数计算,弹性容器实例 ECI
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
2.在安全信息管理页面,记录下 AccessKey ID和 Access Key Secret,后续在脚 本中使用。4.3.注册风险识别示例 1.判断用户提交的注册信息是否存在风险,最主要的是通过手机号码或邮件地址,还 有手机和浏览器的指纹信息、注册请求的 IP地址等。提供的信息越全,判断的越 准确。详细请求参数请参考帮助文档:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
企业应用(酒店PMS)混合云组网最佳实践
企业应用(酒店PMS)混合云组网最佳实践
酒店上云是分阶段实施,线下和云上的混合云是长期 状态,需要保证线下多地域多分支、云上多地域之间 互相访问,且需要满足不同类型的企业节点的服务要 求,比如总部 IDC 要求带宽大,对安全可靠性要求 高等。
前言 前言 概述 本实践重点提供一种简单且具备成本效益的混合云网络解决方案,通过云服务器和数 据库来搭建云上应用系统,通过部署 SLB提供后续业务发展的横向扩展性以及应用容 灾。产品介绍 VPC:专有网络(Virtual Private Cloud),是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离,用户可以在...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,智能接入网关,云速搭
大数据workshop
大数据workshop
大数据workshop
在 HoloWeb控制台,选择 SQL编辑器,然后点击新增 SQL窗口,选择对应的 据库,编辑填写相应的 DDL建表语句(默认数据表的属性是列存模式,列存模式更 适合 OLAP数据分析,数据表的行存模式更适合高 QPS点查询场景)。1.首先创建 ads_province_info表。文档版本:20210628(发布日期)42 阿里云最佳实践大数据 WorkShop ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
pip install PyMySQL 若安装的 PyMySQL 版本号>1.0,修 改 连 接 语 句 为:db=pymysql.connect(host=dbhost,user=dbuser,password=dbpass,database=dbname)步骤4 通过运行脚本 python insert_demodata_into_TDE_finance_table.py(使用前先替换文 件里 rds的域名,用户名以及密码),往 finance表中插入一条数据,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
湖仓一体架构EMR元数据迁移DLF
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案,可以为企业提供数据湖内的统一的元数据管理,统一的权限管理,支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF,通过统一的元数据管理,多种数据源入湖,搭建高效的数据湖解决方案。
本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL 数据库迁移 DLF,通过统一的元数据管理,多种数据 源入湖,搭建高效的数据湖解决方案。最佳实践频道 阿里云最佳实践分享群 产品列表 VPC、EMR、EIP、DLF、RDS、CADT 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 湖仓一体架构 ...
来自: 最佳实践 | 相关产品:E-MapReduce,数据湖构建
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
vCPU和内存都可 以进行自定义选择(比如 vCPU选 2核,内存选 5G,可以使用于一些非常见资源使 比例的软件应用)。接下来的购买配置和共享宿主机的 ECS购买基本一致:ECS实例镜像类型可由实际业务决定。本例中使用 Centos 7.6 实例系统盘选择上如果对存储性能要求较高,可以选择 ESSD(单盘 IOPS上万)。文档版本:20220414...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
阿里云攻防对抗类的安全产品,即云盾系列,主要包括Web应用防火墙(WAF)、云 防火墙(四层防火墙)、云安全中心(原安骑士和态势感知)、高防IP、堡垒机、数据 审计、SSL证书。高防IP主要是防护大流量DDoS攻击,在云上不方便演练,所以被最佳实践中不包含 这个产品的PoC内容。云安全产品在云上的部署拓扑图:文档版本:...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
VPN网关 VPN网关是一款基于 Internet的网络连接服务,通过加密通道的方式实现企业 中心、企业办公网络或 Internet终端与阿里云专有网络(VPC)安全可靠的连 接。VPN 网关提供 IPSec-VPN 连接和 SSL-VPN 连接。详情请查看 https://www.aliyun.com/product/vpn IPSec VPN 基于路由的 IPSec-VPN,不仅可以更方便的配置和...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
文档版本:20210617 14 企业上云 workshop-IDC业务迁移上云 RDS实例配置 2.RDS实例配置 使用云架构设计工具 CADT完成资源环境部署后进入资源配置阶段,首先登录阿里云 官网,对 RDS资源实例进行初始化配置,确认 Wordpress应用数据库用户、创建 据库以及配置数据库集群访问白名单,并记录数据库集群访问地址。2.1.确认...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
小型互联网迁移阿里云
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
如果 binlog没有打开,那么需要修改源 据库配置文件中的 log_bin,开启二进制日志 log_bin=mysql_bin。配置完成后重启源 数据库,参考 MySQL,重新进行预检查。访问数据库:mysql-h-P 3306-u admin-p 输入密码:show global variables like"log_bin;文档日期:20200114 30 小型互联网迁移上阿里云最佳实践 数据迁移准备 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用