基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本实践通过 HttpClient.java、IP2Region.java实现将访问 APP IP地址转化为地理 位置。IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX,不适合生产环境使用。public class IP2Region ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
虚拟桌面架构的高性能体验云上部署
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
DDH因故障迁移完成后,DDH ID及 ECS实例的元数据(比如实例 ID、私有 IP地址、公网 IP地址)均保持不变。由于物理机更换,DDH的机器码会改变。带有本地盘的专有宿主机(如本地 SSD型)不支持自动宕机迁移。DDH发生故障停 机后,您需要提交工单申请置换一台健康的 DDH。10 企业上云实践 虚拟桌面架构的高性能体验云上部署|...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
[General] Name:nsx-edge  Node:nsx-edge(192.168.10.91)文档版本:20191121 154 VMwareon弹性裸金属 安装和部署VMware 说明:这里的IP地址是您的nsx-edge网卡的私网IP地址。 TransportZones:选择添加ext-tz(VLAN)和vtep-tz(Overlay)[N-VDS][NewNodeSwitch] EdgeSwitchName:NVDs-vlan  UplinkProfile:...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
通过负载均衡SLB的白名单放行WAF回源IP地址 背景信息 为了避免源站地址(SLB的IP地址)暴露而导致WAF被绕过失效,需要有效保护 SLB的IP地址。SLB提供了访问控制(白名单)能力,可以设置只允许WAF地址访 问。SLB没有设置白名单之前,可以被任何连接公网的机器访问;按照本节操作,成功配 置白名单后,就只能被WAF的IP地址...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本:20201224 27 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤8 添加白名单,填写集群所在 VPC IP段。文档版本:20201224 28 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤9 通过 DMS数据管理,登录云数据库 ClickHouse。步骤10 输入数据库账号和数据库密码,单击测试连接。文档...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤2 看 杭 州 区 域 EMR 集 群 主 机 的 内 网 IP ,通 过 https://emr.console.aliyun.com/#/cn-hangzhou/cluster 登录到控制台,单击集群名称 进入详情页面。文档版本:20210714 35 自建Hadoop数据迁移到阿里云 EMR 创建IPSec VPN隧道 我们以 emr-worker-2主机的内网 IP地址进行互通性验证。步骤3 首先通过 SSH...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
直接访问 SLB IP地址,端口 80,可以看到登录应用界面:文档版本:20200106 68 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 自此,SLB配置成功,支持从 SLB访问应用。4.4.查看应用监控和调用链 步骤1 启动应用监控。单击链接,到组件中心开通应用监控,单击立即开通。步骤2 查看应用监控。访问 Piggy...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
配置项 说明 计费方式 抢占式实例 地域 华东 1(杭州)随机分配 实例 实例规格:ecs.n1.tiny 购买实例数量:1 台 镜像 公共镜像 文档版本:2021-07-12 23 资源管理 资源目录 CentOS 7.6 64 存储 保持默认配置即可。配置完成,单击下一步:网络和安全组。步骤4 在网络和安全组页面,参考下表示例说明,配置相关参数。配置...
来自: 最佳实践 | 相关产品:资源管理
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
若实际生产环境,需要调整允许访问 IP地址(段),可以在白名单进行调整,调 整后 DRDS只会放行白名单内的 IP访问。文档版本:20220506(发布日期)33 云上高并发系统改造 部署高并发数据库环境 4.3.为 DRDS配置 private zone 步骤1 点击进入 tpch数据库。步骤2 复制内网地址。可以看到用户名与数据库名相同。步骤3 回到 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
通过云速搭创建具有IPv6地址的ECS
通过云速搭创建具有IPv6<em>地址</em>的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实,以及工业互联网、物联网、5G 等前沿技术的快速发展,各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业,提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景,提供一键部署模版,进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
检查IPv6地址是否生效 步骤1 通过“远程登录”访问 ECS 步骤2 在对话框中输入模版中设置的登录密码,本示例为 Test1234 步骤3 查看ECS ip地址,linux使用(ip addr 或 ifconfig命令):文档版本:20240821 18 通过云速搭创建具有 IPv6地址的ECS实践 显示的 ipv6地址与控制台一致,并显示为“scope global noprefixroute”...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,NAT网关
微服务应用问题定位及故障演练
微服务应用问题<em>定位</em>及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里云 ACK部署,通 过 ARMS监控发现微服务应用的容错能力是否 健壮,容器编排配置是否合理,以及节点故障引 发的问题等,方案通过 AHAS故障注入模拟生 产环境产生的故障,通过 ARMS及时发现问题、定位问题,并结合 ARMS的告警功能快速...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
利用交互式分析(Hologres)进行数据查询
利用交互式分析(Hologres)进行数据<em>查询</em>
场景描述:随着收集数据的方式不断丰富,企业信息化 程度越来越高,企业掌握的数据量呈TB、 PB或EB级别增长。同时,数据中台的快 速推进,使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力,为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Hologres致力于低成本和高性能大规模计算型存储和 强大的查询能力,为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询MaxCompute数据 产品列表 2.快速搭建实时数据仓库 3.无缝对接主流BI工具  专有网络VPC  交换机vswitch 最佳实践频道  Hologres http://bp.aliyun.com  实时...
来自: 最佳实践 | 相关产品:大数据计算服务 MaxCompute,DataV数据可视化,实时计算,Hologres,云速搭CADT
PolarDB 应对大并发复杂查询实践
PolarDB 应对大并发复杂<em>查询</em>实践
MySQL架构是单线程处理SQL,遇到大并发复杂查询时,需要排队长时间等待,容易形成慢查询,影响业务。PolarDB并发查询能力可以很好解决此问题。
附录 测试环境安装.26 4.1.TPC-H安装.26 文档版本:20210412 IV PolarDB如何应对大并发复杂查询 最佳实践概述 最佳实践概述 概述 在面向 C端或者多个小 B端的 SaaS化服务场景下,数据库经常面临大并发的复杂 业务压力,比如餐饮平台的商户随机查看订单统计情况;ERP服务平台面临大量零 售商户查看库存报表情况。此类...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库PolarDB,云速搭CADT
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用