基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本实践通过 HttpClient.java、IP2Region.java实现将访问 APP的 IP地址转化为地理 位置。IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX,不适合生产环境使用。public class IP2Region ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
虚拟桌面架构的高性能体验云上部署
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
DDH因故障迁移完成后,DDH ID及 ECS实例的元数据(比如实例 ID、私有 IP地址、公网 IP地址)均保持不变。由于物理机更换,DDH的机器码会改变。带有本地盘的专有宿主机(如本地 SSD型)不支持自动宕机迁移。DDH发生故障停 机后,您需要提交工单申请置换一台健康的 DDH。10 企业上云实践 虚拟桌面架构的高性能体验云上部署|...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
企业多账号环境下的安全资源统一管控最佳实践
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司,公司使用阿里云支撑各分公司的 IT 业务系统,这些系统由各分公司独立负责,包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快,各分公司创建了非常多的业务账号来承载新的业务,每个业务账号独立管理,带来了非常大的管理问题。人员权限管理混乱,离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患;账号权限过大、使用弱密码可能造成账号被盗数据泄露;公司内部缺乏统一的合规基线和安全管控,各业务系统各自为政,数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性,总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品,集中保障云上资源的安全性。
EIP:弹性公网 IP(Elastic IP Address,简称 EIP)是可以独立购买和持有的公网 IP地址资源。目前,EIP支持绑定到专有网络类型的 ECS实例、专有网络类型的 私网 SLB实例、专有网络类型的辅助弹性网卡、NAT网关和高可用虚拟 IP上。CFW:阿里云云防火墙(Cloud Firewall)是业界首款公共云环境下的 SaaS化防 火墙,可统一管理...
来自: 最佳实践 | 相关产品:云安全中心,云防火墙,资源管理,云速搭CADT,云SSO
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
若实际生产环境,需要调整允许访问的 IP地址(段),可以在白名单进行调整,调 整后 DRDS只会放行白名单内的 IP访问。文档版本:20220506(发布日期)33 云上高并发系统改造 部署高并发数据库环境 4.3.为 DRDS配置 private zone 步骤1 点击进入 tpch数据库。步骤2 复制内网地址。可以看到用户名与数据库名相同。步骤3 回到 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
企业上云workshop
企业上云workshop
本文模拟了如下场景: 1. 线下 IDC 环境中部署了一个业务系统,业务是利用 wordpress 系统提供网站服务。 2. 本文详细介绍了如何将以上线下系统搬迁到云上, 包括如何在云上构建以上业务系统,如何迁移线下 系统到云上,如何割接。 3. 最后介绍了迁移上云后,如何部署安全系统。 解决问题 IDC 业务系统搬迁上云 云上构建业务系统 部署安全系统
用 ping来检查,可以看到 ping ws0001.lustre.site的时候,已经返回 waf的 cname ,表明解析成功。可以在公网环境的主机(比如,连接公网的笔记本电脑)上执行 以下命令:ping ws0001.lustre.site 13.4.验证 WAF防护效果 13.4.1.Web应用攻击防护效果 步骤1 分别在浏览器的地址栏输入以下 3个 url,模拟 SQL注入攻击、...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,负载均衡 SLB,弹性公网IP,文件存储NAS,云数据库PolarDB,Web应用防火墙,云防火墙,SSL证书,云速搭
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
创建vmotion子网 在本节中,您将依次创建vmotionVDS、添加主机、修改VMKemel网卡的MAC 。步骤1 登录vSphereWebClient。(具体操作请参见4.1.2章节)步骤2 在左侧导航栏,单击已创建的数据中心(Datacenter)。步骤3 在网络页签下,打开DistributeSwitch子页签,并单击新建DistributeSwitch,进 入新建DistributeSwitch...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
步骤7 打开命令提示符,输入以下命令获取到要被保护的 IP地址(本方案中是 WAF的 IP )。ping magento.lustre.site 步骤8 在添加防护对象对话框中输入上一步获取到的 IP地址,并单击确定。文档版本:20210806 58 企业上云实践 电商网站业务安全最佳实践|开通 DDoS防护包(可选)在防护包列表,可查看到防护 IP数。步骤9...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
通过负载均衡SLB的白名单放行WAF回源IP地址 背景信息 为了避免源站地址(SLB的IP地址)暴露而导致WAF被绕过失效,需要有效保护 SLB的IP地址。SLB提供了访问控制(白名单)能力,可以设置只允许WAF地址访 问。SLB没有设置白名单之前,可以被任何连接公网的机器访问;按照本节操作,成功配 置白名单后,就只能被WAF的IP地址...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
文档版本:20191217 90 互联网业务全球化互通组网最佳实践 应用全球多部署 配置 SLB 步骤1 在实例管理页面,单击新建实例的点开始配置。步骤2 在协议&监听配置向导页,配置相关参数。选择负载均衡协议:HTTP 监听端口:80 单击高级配置后的修改,打开开启会话保持开关。配置完成,单击下一步。文档版本:20191217 91 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
基于 Flink+ClickHouse构建实时游戏数据分析 最佳实践 业务架构 背景描述 在互联网、游戏行业中,常常需要对用户行 为日志进行分析,通过数据挖掘,来更好 支持业务运营,比如用户轨迹,热力图,登 录行为分析,实时业务大屏等。当业务数据 量达到千亿规模时,常常导致分析不实时,平均响应时间长达 10分钟,影响业务的正...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
收集 3个节点的私网 IP地址和对应的主机名,如下所示(请根据您环境的实际 IP 进行修改):192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 192.168.100.41 slave3 文档版本:20210714 16 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 通过 SSH远程登录 hadoop-master节点所在的 ECS...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
其中所有 MongoDB的 IP都设置为安装的 MongoDB的 ECS IP地址,而 rabbitmq 的 IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中,如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}${NOTIFICATION_SERVICE_PASSWORD}${STATISTICS_SERVICE_PASSWORD}${ACCOUNT_...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
取值:internet:创建公网负 载均衡实例后,系统会 addressTy 分配一个公网IP地址,internet pe 可以转发公网请求。intranet:创建内网负 载均衡实例后,系统会 slb 分配一个内网IP地址,参数 仅可转发内网请求。bandwidt SLB的公网带宽 5 h SLB实例的付费类型:slbPayTyp PayOnDemand:后付 PayOnDemand e 费 PrePay:预...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
配置项 说明 计费方式 抢占式实例 地域 华东 1(杭州)随机分配 实例 实例规格:ecs.n1.tiny 购买实例数量:1 台 镜像 公共镜像 文档版本:2021-07-12 23 资源管理 资源目录 CentOS 7.6 64 存储 保持默认配置即可。配置完成,单击下一步:网络和安全组。步骤4 在网络和安全组页面,参考下表示例说明,配置相关参数。配置...
来自: 最佳实践 | 相关产品:资源管理
通过弹性公网IP确保服务迁移时公网IP不变
阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址不变的能力。您可以将转换后的EIP绑定到负载均衡SLB或其他ECS实例上,在不影响业务的情况下完成水平扩容、服务迁移。
阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址不变的能力。您可以将转换后的EIP绑定到负载均衡SLB或其他ECS实例上,在不影响业务的情况下完成水平扩容、服务迁移。通过弹性公网IP确保服务迁移时公网IP不变 阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址...
通过云速搭创建具有IPv6地址的ECS
通过云速搭创建具有IPv6<em>地址</em>的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实,以及工业互联网、物联网、5G 等前沿技术的快速发展,各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业,提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景,提供一键部署模版,进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
检查IPv6地址是否生效 步骤1 通过“远程登录”访问 ECS 步骤2 在对话框中输入模版中设置的登录密码,本示例为 Test1234 步骤3 查看ECS的 ip地址,linux使用(ip addr 或 ifconfig命令):文档版本:20240821 18 通过云速搭创建具有 IPv6地址的ECS实践 显示的 ipv6地址与控制台一致,并显示为“scope global noprefixroute”...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关
基于Fortinet的出海业务访问加速方案
基于Fortinet的出海业务访问加速方案
本方案基于CADT提供一个一键交付零配置的部署模板,帮助企业快速构建出海业务访问加速的环境。方案结合了Fortinet产品以及阿里云的ECS,BGP公网精品IP等产品,实现低成本的出海业务加速。
步骤12 创建客户端参数,最后保存-远程网关:请填写上述部署创建的公网 IP地址。自定义端口:请填写 65441-连接名/用户名:请填写 vpntest-用户密码:vpntest-认证:保存登录名 本方案部署完成后仅默认创建了一个账号 vpntest,企业内多员工可以使用同一个 账号进行登录使用。若需要给每个员工分配独立的用户,可以参考...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭
容器场景下的应用性能监控、调用链拓扑、内存剖析
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及,越来越多的系统已经通过云原生和微服务技术实现企业的降本增效,同时因微服务及云原生的复杂性给系统运维带来非常大的挑战,云原生应用监控arms通过全链路应用监控,从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力,帮助客户降低系统故障定位难度,此demo,您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑,调用链可以显示出服务之间的调用顺序和层次关系,帮助开发人员理解和追踪代码的执行流程 在分布式系统中,一个请求往往需要通过多个服务来完成。当出现问题时,如请求超时、错误或异常,很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题: · 故障排查:当请求失败或出现错误时,调用链可以显示整个请求的路径和每个服务的执行情况,从而帮助运维人员快速定位问题所在。 · 性能优化:通过调用链,运维人员可以了解请求在系统中的执行时间和瓶颈所在,从而进行优化。 · 系统监测:调用链可以提供实时的系统监测和分析,帮助运维人员了解系统的健康状况和资源利用情况。
模拟加压CPU和内存 步骤1 登录到容器ack集群,找到服务对外暴漏的IP地址。在浏览器中访问该地址http://47.98.XX.XX/可以看到:通过模拟加压CPU和内存的方式,查看应用的异常指标。步骤2 打满CPU增加5个压力任务,如图点击5次创建,压力作业表中会出现5条vCPU相 文档版本:20240329 27容器场景下的应用性能监控、调用链拓扑...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,NAT网关,微服务引擎
基于MSE和SAE的微服务部署与压测
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品,为spring cloud微服务应用提供部署和测试能力,提供一个经典微服务应用上云的典型架构,实现微服务应用的快速落地。
IP地域替换为2.7查询到的IP地址。格式http://IP地址/a,可以看到如下图所示的页面。文档版本:20240415 28基于MSE和SAE的微服务部署与压测 场景验证 3.通过压测展示SAE弹性 3.1.创建sc-A应用弹性规则 设置弹性策略,当cpu大于30%时,逐步扩容到5个。注意sae有内置的资源评估策 略,是按照时间窗口迭代评估cpu,逐步扩容至5...
来自: 最佳实践 | 相关产品:负载均衡 SLB,弹性公网IP,性能测试 PTS,应用实时监控服务 ARMS ,Serverless 应用引擎,微服务引擎,云速搭
RocketMQ性能压测快速方案
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
执行命令“shinstall_env.sh”,安装Java Runtime、RocketMQ压测软件,启动压测工作进程:步骤5 修改/root/openmessaging/benchmark/workers.yaml 文件,将上面获取的 ecs-producer和ecs-consumer的内网IP地址配置到URL中,如下:文档版本:20240506 25RocketMQ性能压测快速方案 一键释放资源 步骤6 修改/root/...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,消息队列 RocketMQ 版,云速搭
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用