基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
专有网络 VPC 云数据库 RDS MySQL版 分析型数据库 MySQL版 解决问题 消息队列 Kafka 对象存储 OSS 1.如何搭建实时数仓。NAT网关 2.通过实时计算 Flink实现实时 ETL和数据流。DataV数据可视化 3.通过实时计算 Flink实现实时数据分析。4.通过实时计算 Flink实现事件触发。最佳实践频道 阿里云最佳实践分享群 云服务器 ECS...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
倚天服务器
倚天云服务器采用倚天710处理器,通过芯片快速路径加速手段,完成计算、存储、网络性能的数量级提升,应用于云原生、视频编解码、高性能计算和游戏服务等场景。
云数据库RDS MySQL版.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP中的重要一环,广泛应用于各类应用场景.云数据库RDS MySQL版.MySQL 是全球最受欢迎的开源数据库之一,作为开源软件组合 LAMP中的重要一环,广泛应用于各类应用场景.2015年雪球与阿里云达成合作,利用阿里云的专有网络VPC,将IDC资源与阿里...
来自: 云产品
电商网站业务安全
电商网站业务安全
场景描述 业务运营活动是电商行业开展业务必不可少的 手段,但大流量带来的系统可用性、优惠券带来 的“薅羊毛”等问题屡见不鲜,都会影响到运营 效果、甚至出现负面影响。阿里云基于集团电商 业务多年的运营经验,为云上客户提供完整的电 商网站运营期间的防护方案。 解决问题 1.保障业务运维活动系统稳定运行 2.防止“薅羊毛” 3.运营优惠给到真实的客户 产品列表 爬虫风险管理 风险识别 DDoS防护包
运营优惠给到真实的客户 产品列表 Web应用防火墙 风险识别 DDoS防护包 RDS MySQL版 负载均衡 SLB 服务器 ECS 云速搭 CADT 阿里最佳实践技术分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 企业上云实践 电商网站业务安全最佳实践|文档版本信息 阿里 企业上云实践 电商网站业务安全最佳实践 文档版本:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,DDoS防护,风险识别,爬虫风险管理,云速搭CADT
异地双活场景下的数据双向同步
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
详见:https://www.aliyun.com/product/kubernetes 云数据库 RDS MySQL版:MySQL 是全球最受欢迎的开源数据库之一,作为开 源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一 环,广泛应用于各类应用场景。文档版本:20220209 III 异地双活场景下的数据双向同步 前言 详见:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
迁移单写双读过渡架构
跨<em>云</em>迁移单写双读过渡架构
概述 在搬站场景下,涉及迁移跨度较长,在过渡阶段客户需要跨云访问,如何保障数据链路的高可用尤为关键,采用专线和公网双备的方案保障数据传输的高可用,也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 在迁移时间持续较长的情况下,使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证,保障迁移平滑过渡。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
详见:https://www.aliyun.com/product/dg 云数据库 RDS MySQL版:MySQL 是全球最受欢迎的开源数据库之一,作为开 源软件组合 LAMP(Linux+Apache+MySQL+Perl/PHP/Python)中的重要一 环,广泛应用于各类应用场景。文档版本:20201209 III 跨云迁移单写双读过渡架构 前言 详见:https://www.aliyun.com/product/mysql 数据...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,数据传输,性能测试 PTS,云企业网,云速搭CADT
自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
创建 Hive元数据库 本实践方案将在 ECS上安装 MySQL数据库,用于保存 Hive元数据信息。步骤12 通过 SSH登录到 hadoop-master节点。步骤13 安装 mysql。1.下载 yum 源的 rpm 包。wget https://dev.mysql.com/get/mysql57-community-release-el7-11.noarch.rpm 2. 安装 rpm 包。rpm-Uvh mysql57-community-release-el7-11....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
配置项 说明 地域 华北 2(北京)数据库类型 MySQL 版本 5.6 系列 高可用 可用区 多可用区(可用区 C+可用区 E)网络类型 专有网络 选择已创建的 BEI_VPC(10.0.0.0/8)和交换机 BEI_SW_C(10.0.30.0/24)文档版本:20220121 40 游戏业务分区合服最佳实践 初始环境搭建 规格 2核 4G 存储空间 150 GB 数量 1 购买完成后,可在...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase构建自主可控<em>数据库</em>和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
云数据库专属集群为 客户独享云资源更加安全,用户既享受到云数据库服务的便捷灵活,又满足企业 对 数 据 库 合 规 性、 全 性 和 高 性 能 的 要 求。详见:https://www.aliyun.com/product/apsaradb/cddc 堡垒机:集中管理资产权限,全程记录操作数据,实时还原运维场景,助力企业用 户构建云上统一、安全、高效运维...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一,面向不同业务场景,阿里云提供数据存储、分析、应用等全链路能力,满足企业客户全方位的数据处理需求,实现计算和存储分离、资源解耦、数据移动减化,用以满足行业快速发展的需求和趋势,利用数据重塑其业务。
云数据库 RDS MySQL .云数据库 RDS PostgreSQL 版.云数据库 RDS SQL Server 版.云原生分布式数据库 PolarDB-X.云数据库 Redis 版.云数据库 MongoDB 版.云原生数据仓库 AnalyticDB PostgreSQL 版.数据传输服务 DTS.数据库备份 DBS.云原生内存数据库 Tair.云数据库专属集群 MyBase.云数据库 ClickHouse 版.数据库自治服务 ...
来自: 云产品
云数据库专属集群MyBase
云数据库专属集群MyBase是阿里云专为企业级用户定制优化的解决方案。支持MySQL、PostgreSQL、SQL Server、Redis和MongoDB数据库。具有云资源独享、支持资源超分配,自主可运维、开放权限等特点。MyBase不仅能保障客户独享云资源更加安全、享受到云数据库服务的便捷灵活,同时还满足企业对数据库合规性、安全性和高性能的要求。
查看数据库全部产品 云数据库专属集群 MyBase播放视频 MyBase 是阿里云专为企业级自建用户定制优化的解决方案,提供托管、开放(半托管)两种产品形态,支持 MySQL、Redis等主流引擎。托管提供云资源独享、支持资源超分配能力,开放具备权限开放、支持资源混布、自主运维管理等特点。MyBase开放上线,前往管理...
来自: 云产品
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
安装 Kafka模块 cd fc fun install-runtime python3-package-type pip kafka-python 安装 Mysql模块:文档版本:20210806(发布日期)29 Function Compute构建高弹性大数据采集系统 创建削峰填谷函数 fun install-runtime python3-package-type pip PyMySQL 如果是第一次执行以下命令,会有一段时间拉取镜像的步骤,执行...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
B,各一台 系统盘:默认 40GiB MySQL数据库 地域 深圳(高可用 D+E)、美国(A+B)、德国(A+B)网络 使用网络规划 VPC 实例规格 4核 8GB 存储空间/存储类型 100G/本地 SSD 购买数量 各个地域,1个实例 数据库:类型,版本号,端MySQL5.6,高可用 口号 端口:3306 Redis 可用区 深圳(高可用 D+E)、美国(A+B)、德国...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
上高并发系统改造
<em>云</em>上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
配置项 说明 拆分模式 水平拆分 存储类型 RDS for MySQL 数据库名 数据库名和基础环境一致使用“tpch”字符集 utf8 DRDS链接密 密码统一设置为 Test1234 码 配置完成,单击下一步。文档版本:20220506(发布日期)31 上高并发系统改造 部署高并发数据库环境 步骤3 选择在章节 4.1中创建的私有定制 RDS实例,点击 下一步。...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
云数据库 SelectDB
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务,内核基于业界领先的开源分析型数据库 Apache Doris 研发,由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求,广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景,致力于为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品云数据库 RDS MySQL 云消息队列 Kafka 版数据传输服务DTS实时计算Flink版在线咨询即席多维分析传统解决方案面临的挑战包括:计算分析过程复杂,难以快速响应查询;表结构不灵活,不适应灵活的业务变化;数据发生变化时,原有数据无法实时更新。基于 SelectDB 建设多维数据分析平台,可...
来自: 云产品
Dubbo应用上云
Dubbo应用上云
场景描述 本最佳实践适用于企业自建 Dubbo 应用上云, 应 用采用 docker 方式部署, 降低部署成本。同时利 用 MSE 提供 Zookeeper 服务注册管理。 通过阿 里云的 ARMS 和 AHAS 服务提供应用监控和服务 限流管理,简化运维并提供服务的全生命周期管 理。 解决问题 1. 自建 dubbo 应用迁移上阿里云。 2. 应用部署在容器内降低成本。 3. 通过 MSE 提供 ZK 服务,提高稳定性。 4. 通过 ARMS/AHAS 提供监控和服务限流能力 产品列表 容器服务 Kubernetes 版(ACK) 微服务引擎(MSE) 关系数据库服务(RDS) 应用高可用服务(AHAS) 应用实时监控服务(ARMS)
安装 MySQL数据库.10 1.5.配置和部署 Dubbo应用.11 2.Dubbo应用改造.15 2.1.应用配置修改.15 2.2.创建镜像描述文件.16 3.部署 Dubbo应用.18 3.1.配置 RDS数据库.18 3.2.制作镜像.23 3.2.1.创建并配置镜像仓库.23 3.2.2.制作镜像.27 3.3.部署应用和服务.29 3.4.验证应用功能.33 3.5.配置 AHAS服务.34 3.5.1.配置架构探查...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,容器服务 ACK,应用实时监控服务 ARMS ,应用高可用服务 AHAS,微服务引擎,云速搭
数据库异地灾备
<em>数据库</em>异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP(EIP)负载均衡 SLB 云数据库 RDS MySQL 数据库备份服务 DBS 对象存储服务 OSS 数据湖分析服务 DLA 数据管理服务 DMS 数据传输服务 DTS 云速搭 CADT 文档模板(手册名称)/文档版本信息 Oracle数据库与应用迁移PolarDB 阿里 ...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
PolarDB 应对大并发复杂查询实践
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL,遇到大并发复杂查询时,需要排队长时间等待,容易形成慢查询,影响业务。PolarDB并发查询能力可以很好解决此问题。
PolarDB MySQL 8.0采用开启并发度的方式,改变单线程处理 SQL的架构,充分利 用多核 CPU多线程优势,利用多线程并行处理复杂查询,有效解决大并发复杂查询的 问题,本文使用 TPC-H模拟典型高并发复杂查询业务压力,对比开启并发度前后的情 况,展示开启并发度能力在此类业务场景下的优势。适用场景 多条件查询、多表关联等...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库PolarDB,云速搭CADT
小型互联网迁移阿里
小型互联网迁移阿里<em>云</em>
场景描述 本方案主要适用于中小型互联网企业,从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节, 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器(ECS)、迁云工具(SMC)、数据库 (RDS)、数据库(Redis)、数据传输(DTS)、 负载均衡(SLB)、专有络(VPC)等
文档日期:20200114 8 小型互联网迁移上阿里云最佳实践 他云初始化环境部署 步骤3 模拟 wordpress站点的数据写入,如发表文章、评论文章等,可以正常写入云数据库。文档日期:20200114 9 小型互联网迁移上阿里云最佳实践 服务器迁移(SMC)3.服务器迁移(SMC)3.1.访问服务器迁移中心 步骤1 通过 ECS 控 制 台 或 者直接 访...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
web-mysql zabbix-agent#安装 mariadb数据库 yum install-y mariadb-server systemctl start mariadb.service systemctl enable mariadb.service#导入 Zabbix数据到 Mysql数据库 mysql-uroot-p Enter password:/空密码直接按回车键 文档版本:20211021 60 基于 SLS实现统一告警最佳实践 配置自定义告警#执行 SQL脚本 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
OA资源申请流程自动化
OA<em>云</em>资源申请流程自动化
在企业级客户场景中,对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案,以解决OA云资源申请流程中的自动化问题,提高运维效率,以更好地支撑业务创新。
最佳实践频道 阿里云最佳实践分享群 产品列表 云服务器 ECS 云速搭 CADT 云数据库 RDS 专有网络 VPC 钉钉扫描二维码或搜索钉群号 31852400入群 OA云资源申请流程自动化 最佳实践 文档版本:20240130(发布日期)OA云资源申请流程自动化 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 OA云资源申请流程自动化最佳...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,云速搭
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用