基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
cd kafka_2.11-0.10.2.2 文档版本：20220223（发布日期）36 基于 Flink的资讯场景实时数仓 基础环境部署./bin/kafka-console-producer.sh-broker-list 默 认 接 入 点-topic app_log_origin 注意：本实例的脚本为./bin/kafka-console-producer.sh-broker-list 192.168.0.150:9092,192.168.0.151:9092,192.168.0.152:9092-...
金融分布式架构SOFAStack
阿里云金融分布式架构SOFAStack为金融用户提供全栈式的基础架构能力，是集项目管理、微服务开发、发布部署、监控运维、容灾高可用等全栈式解决方案，助力客户应用轻松转型分布式架构，保证风险安全的同时帮助业务需求敏捷迭代，支撑金融业务创新，开发人员学习成本最多可降低92%、应用开发效率可最多提升80%、运维人力成本最多可节省90%
业务应用系统通过 Service Mesh技术架构轻量级接入，实现对应用无侵入的服务注册与服务治理方案，减少改造成本。同时，该方案支持容器平台、虚拟机平台，能够满足企业用户未容器化的场景对Service Mesh 架构转型的需求.跨平台无侵入.微服务平台提供集中式图形化易操作的管理平台，满足企业级高级特性需求，简化分布式应用的...
来自：
云产品
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
考虑到负载均衡以及高可用设计，我们把 这台已部署的 ECS实例做成自定义镜像，并通过镜像部署多个 ECS实例来接入前段 SLB统一暴露服务入口。步骤1 返回到 ECS控制台，单击实例 ID进入实例详情页，单击镜像 ID右侧的创建自定义镜 像。步骤2 输入自定义镜像名称以及描述信息，然后单击创建。需要注意上方黄底背景内容，请 ...
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
步骤4 记录外网访问和传输加速域名 Endpoint备用：文档版本：20211025（发布日期）17 低成本跨境文件传输最佳实践 OSS文件传输 2.OSS文件传输 2.1.生成并上传全量文件 步骤1 分别生成 3个 1M、100M、2G文件,通过 vi命令新建文件 test.sh，粘贴一下命令。mkdir-p/fileTransfer/all&cd/fileTransfer/all dd if=dev/zero of=1M...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
毫秒级延迟，无感防护，依托阿里云海量的边缘节点资源，安全能力下沉至用户 边缘部署，互联网访问防护无感接入，远程办公接入可享受网络加速，给您极致 办公体验。 降本增效，纯SaaS化部署模式，相较传统的硬件安全设备，成本降低40%，部 署周期降低3倍+，安全设备运维零成本。 ZTNA零信任访问架构，采用全新的零...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
实例进入部署中状态：步骤8 部署成功后，状态更新为服务中，请复制并保存 kafka集群默认接入点信息。步骤9 部署成功后，创建实验需要的主题，Topic名称 user-behavior-topic 文档版本：20201224 23 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤10 创建实验需要的消费组。步骤11 查看消费状态，消费信息为...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
配置项 说明 名称 sign-k8s 地域 华东 1（杭州）可用区 华东 1可用区 E 专有网络 sign-k8s 交换机 v-sign-k8s 步骤4 返回集群列表，可以看到 sign-k8s处于等待接入状态。文档版本：20220121 19 基于 K8S多集群隔离环境下的 DevOps实现 托管 K8S集群 2.3.注册托管集群 步骤1 进入集群管理界面，复制集群导入代理配置。步骤2 ...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
存量数据迁移到ingest-elasticsearch 步骤1 通过CADT画布双击VPC，查询VPC实例ID 文档版本：20240422 25自建ELK迁移阿里云日志服务（SLS）ELK迁移SLS 步骤2 在SLS控制台数据接入部分，选择数据导入->Elasticsearch数据导入 步骤3 填写导入配置 服务实例URL：http://192.168.0.69:9200/ ES索引列表：nginx-logstash-index ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
避免跨分表联表查询的方式有：a)剥离出高频访问的表，与核心表 1:1关系的，进行反范式设计，将核心表加 宽 b)如果与核心表是 N：1关系的，将高频访问字段冗余到核心表中 c)低频访问数据，业务功能设计上，避免一页展示大而全，分门别类，点击进 入详情页再展示 5.无法避免的联表查询，联表查询不垮分表，保证效率：a)要与...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
MSE云原生网关致力于提供给云上用户体系化的流量接入解决方案，其中自定义插件是为了满足用户个性化网关扩展的需求。本最佳实践方案就是介绍如 何在 MSE网关中通过自定义插件（transformer）来实现读取并解析 body内容，并用 作为路由转发规则的配置。方案示意图如下所示：文档版本：20240426 4 MSE云原生网关解析 body内容...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
创建ACK命名空间“mse-gray-demo”，用于部署应用.16 2.2.2.ACK应用接入MSE治理中心.16 2.2.3.ACK部署基线业务.18 2.3.搭建业务灰度环境.25 2.4.可观测（可选）.34 3.一键释放资源.36 文档版本：20240429 III基于MSE云原生网关实现全链路灰度最佳实践 最佳实践概述 方案概述 MSE微服务治理为多应用发布提供全链路灰度能力，...
智能接入网关SAG
智能接入网关（Smart Access Gateway，简称SAG）是阿里云提供的一站式快速上云接入产品，企业可通过智能接入网关SDWAN技术实现Internet就近加密上云，适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化，即插即用，网络拓扑变化自适应快速收敛，自动探测最优链路，故障时主动实时切换，高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
后端系统通过智能接入网关连接实现安全稳定传输.业务部署在多个地域下，用户就近接入提升用户体验.提升访问速度.内网传输安全敏感数据，无需担心被外部窃取.服务多地域部署，城域级容灾备份.负载均衡SLB.云企业网CEN.云服务器ECS.云数据库RDS.推荐搭配使用.多分支机构接入云上多VPC.云下多分支无缝接入阿里云，云上多地域...
来自：
云产品
云速搭部署智能接入网关SAG APP
本篇最佳实践通过CADT在华东2上海和美西弗吉尼亚创建跨地域的VPC，在VPC内部署ECS模拟办公系统应用。通过CADT购买SAG APP版并挂载到云连接网CCN，通过云企业网CEN将云上跨地域的VPC和云连接网CCN打通，实现内网互联互通。登录SAG客户端之后，就可以通过内网IP访问云上资源。
云速搭部署智能接入网关 SAG APP 文档版本信息 云速搭 部署智能接入网关 SAG APP 最佳实践 文档版本：20211023（发布日期）云速搭部署智能接入网关 SAG APP 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署智能接入网关 SAG APP 文档编号 243 文档版本 V1.0 版本日期 2021-10-23 文档状态 对外发布 制作...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
应用场景 对网关有认证鉴权安全需求的场景，对于敏感 的服务路由（可通过黑白名单方式配置）在网 关层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载均衡 CLB 云原生网关 MSE 最佳实践频道 Serverless应用引擎 SAE http://bp.aliyun.com 云速搭 CADT 阿里云最佳实践分享群 钉钉...
音视频行业单线静态公网接入最佳实践
在音视频、下载领域，部分客户出于某些特定的原因需要使用单线EIP，考虑到单线EIP相较于多线BPG EIP存在单点故障的风险，因此会在一个节点上同时绑定多个运营商的单线EIP，通过设置内部的路由调度策略实现链路的高可靠。当用户有下载请求时，会首先通过调度策略调度到与用户相同运营商对外服务的IP地址。
应用范围 具备按照运营商调度其用户流量的能力 公网带宽的 SLA诉求不高 方案架构 文档版本：20221107 2 音视频行业单线静态公网接入最佳实践 最佳实践概述 架构说明：每一个 ECS绑定 4张网卡，eth1-eth3分别绑定电信、联通、移动的单线 EIP 网卡开启了 EIP网卡可见模式，EIP将替换辅助弹性网卡的私网 IP，辅助弹性网 卡将...
VPN网关
阿里云VPN网关（VPN Gateway）是一款基于Internet，通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络（VPC）安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务，支持IPsec VPN、SSL VPN及国密算法等丰富特性，满足分支互联、移动办公等接入场景。
随时随地安全上云，智能接入网关APP免费试用.云网络限时特惠助力您快速上云，了解活动.阿里云SDWAN智能接入网关SAG提供一站式上云服务.中小企业基于SAG APP实现云上移动办公最佳实践.采购季VPN网关新客5折起.VPN网关新客实例5折起.<查看全部云网络产品.阿里云VPN网关（VPN Gateway，简称VPN）是一款基于Internet，通过加密...
来自：
云产品
移动网关
移动网关服务，源于阿里云移动开发平台。移动网关 MGS，连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议，从而显著提升开发效率和网络通讯效率。移动网关 MGS，为网络隔离的系统间提供高性能、高安全、高可靠的通信，同时保障内部系统的安全性，并发峰值高达“百亿次/分钟”，业务仍可平稳运行。
业务中存在多种语言、结构的后端服务，只需遵循一定的标准接入移动网关 MGS，就可以对外开放标准统一的服务接口.异构服务标准接入.推荐搭配使用.移动 App 客户端和服务端的高速桥梁.为网络隔离的系统间提供高性能、高安全、高可靠的通信，同时保障内部系统的安全性.支持多种身份认证.支持多种数据加密.支持订阅者级别 CROS ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您