基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vsw-bp106 可用区 可用区 D IPv4网段 192.168.40.0/24 ECS配置：配置项 说明 实例名称 ecs-bp106 支付方式 按量付费 实例规格 ecs.hfc5.xlarge(4c 8g)文档版本：20211213 7 基于 MaxCompute的大数据 BI分析 部署基础环境 镜像 镜像市场 镜像版本 m-uf6g8nv0bex68cm9pwnv 系统...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
文档版本：20210520 16 混合云 IDC自有 K8S弹性使用 ECI 部署 K8S集群 kubeadm init-kubernetes-version 1.16.10-apiserver-advertise-address 10.0.0.163-pod-network-cidr=192.168.0.0/16 记录保存好 kubeadm join的输出：此命令 24小时内有效。步骤2 加载环境变量。本文所有操作都在 root用户下执行，按此方式加载环境...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
1.收集 4个节点的私网 IP地址和对应的主机名，如下所示（请根据您环境的实际 IP 地址进行修改）：192.168.100.37 master 192.168.100.38 slave1 192.168.100.39 slave2 文档版本：20210425 7 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 192.168.100.41 slave3 2.通过 SSH远程登录 hadoop-master...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
类别 配置项 说明 专有网络 地域 华东 1（杭州）名称 sign-k8s 文档版本：20220121 17 基于 K8S多集群隔离环境下的 DevOps实现 托管 K8S集群 IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 v-sign-k8s 可用区 杭州 可用区 E IPv4网段 192.168.0.0/24 文档版本：20220121 18 基于 K8S多集群隔离环境下的 DevOps实现 托管 K8...
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施，集团 旗下有多个分公司（如制造分公司和销售分公 司），各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴，拟达到以下 业务目标： 1. 各个分公司拥有独立的账号，可以购买云资 源，由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建，分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
网络环境规划 网络分类 VPC网段 轿车生产线交换机 销售分公司交换机 生产环境 192.168.0.0/16 192.168.0.0/24 192.168.1.0/24 测试环境 172.16.0.0/12 172.16.0.0/24 172.16.1.0/24 文档版本：20210909（发布日期）26 云上 IT治理 Workshop 部署共享服务 2.2.2.创建 VPC和交换机 步骤1 登录专有网络控制台，可用区切换到...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
存量数据迁移到ingest-elasticsearch 步骤1 通过CADT画布双击VPC，查询VPC实例ID 文档版本：20240422 25自建ELK迁移阿里云日志服务（SLS）ELK迁移SLS 步骤2 在SLS控制台数据接入部分，选择数据导入->Elasticsearch数据导入 步骤3 填写导入配置 服务实例URL：http://192.168.0.69:9200/ ES索引列表：nginx-logstash-index ...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
SAE组件为 2.0版本 文档版本：20240426 I MSE云原生网关解析 body内容进行路由转发 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.CADT基础环境搭建.2 2.MSE网关中安装自定义插件 transformer.9 2.1.Transformer插件说明.9 2.2.Transformer插件下载.9 2.3.Transformer插件安装配置.9 3.MSE...
云速搭CADT部署PolarDB-X 1.0
通过云速搭 CADT 实现云原生分布式数据库 PolarDB-X 1.0 的部署。
云速搭部署风险识别 SAF最佳实践 文档版本信息 云速搭 CADT部署 PolarDB-X 1.0 文档版本：20220315（发布日期）文档版本：20220315 I 云速搭 CADT部署 PolarDB-X 1.0 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭 CADT部署 PolarDB-X 1.0 文档编号 297 文档版本 V1.0 版本日期 2022-03-15 文档状态 对外...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
文档版本信息 文档信息 属性 内容 文档名称 基于 MSE云原生网关同城多活 文档编号 359 文档版本 V1.2 版本日期 2024-04-23 文档状态 外部发布 制作人 虚缇 审阅人 游圣 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-02-27 虚缇 游圣 初始版本 V1.1 2024-04-05 游圣 增加 git代码下载方式 调整 ACK绑定 MSE云原生 ...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
文档版本：20240402（发布日期）MSE网关使用 JWT实现认证鉴权 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 MSE网关使用 JWT进行认证鉴权 文档编号 363 文档版本 V1.2 版本日期 2024-04-02 文档状态 外部发布 制作人 四牛 审阅人 游圣 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-03-08 四牛 游圣 版本...
IPv4网关实现流量统一出入口
对公网流量出入有严格的限制，禁止ECS直接通过挂载公网IP访问互联网带来安全隐患
IPv4网关实现流量统一出入口 文档编号 356 文档版本 V1.0 版本日期 2024-0204 文档状态 外部发布 制作人 嘉辽 审阅人 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-02-04 嘉辽，哨羊 文档版本：20240131 I 大模型RAG对话系统部署最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 ...
云存储网关CSG
阿里云云存储网关CSG是一款数据存储管理工具，以对象存储为后端存储。为企业应用提供文件挂载和数据共享服务。可灵活部署，无缝对接企业应用，并支持数据海量拓展和冷热分层。
¥2550 元/个.CDN 500GB流量包.OSS 200GB/年存储包.OSS 200GB/年回源包.OSS 2千万次/年请求包.CDN 1024GB/年流量包.OSS 1TB/年存储包.OSS 1TB/年回源包.OSS 1亿次/年请求包.高并发 万路直播流.CDN 1TB流量包.OSS 1TB存储包.消息服务 5000万次请求包.媒体转码服务 按量付费.云大使通用分享模块.孙慧颖,靖鑫,也树.三种产品...
来自：
云产品
智能接入网关SAG
智能接入网关（Smart Access Gateway，简称SAG）是阿里云提供的一站式快速上云接入产品，企业可通过智能接入网关SDWAN技术实现Internet就近加密上云，适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化，即插即用，网络拓扑变化自适应快速收敛，自动探测最优链路，故障时主动实时切换，高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
营销2.0商品卡片（适用鸿蒙1.0）.营销2.0商品卡片.旧商品卡片，建议使用「轻量商品卡片」.通用icon文字列表.配置高度自动化，即插即用，网络拓扑变化自适应快速收敛.Internet就近接入，可通过设备及链路级主备实现线下多机构高可靠上云.混合云私网加密互连，Internet传输过程中加密认证.通过阿里云控制台统一配置管理线下...
来自：
云产品
移动网关
移动网关服务，源于阿里云移动开发平台。移动网关 MGS，连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议，从而显著提升开发效率和网络通讯效率。移动网关 MGS，为网络隔离的系统间提供高性能、高安全、高可靠的通信，同时保障内部系统的安全性，并发峰值高达“百亿次/分钟”，业务仍可平稳运行。
移动网关 MGS，连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议，从而显著提升开发效率和网络通讯效率.全线降价，mPaaS 助力打造超级 App！点击查看.mPaaS 全线降价！点击查看.查看产品文档，快速上手.频道页banner.产品详情页二级页面锚点导航.唐家哲,靖鑫,也树.mPaaS 小程序.智能投放 MCDP.解决方案：移动智能...
来自：
云产品
VPN网关
阿里云VPN网关（VPN Gateway）是一款基于Internet，通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络（VPC）安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务，支持IPsec VPN、SSL VPN及国密算法等丰富特性，满足分支互联、移动办公等接入场景。
用户通过使用阿里云VPN网关产品，将分支机构通过加密隧道接入数据中心，快速搭建云上私网服务，为亚太业务提供安全可靠、简单易用的IPsec VPN互联网络.菜鸟网络作为物流行业的重要一员，业务遍及全球，随之而来的分支机构/物流中心也分布广泛。用户使用阿里云VPN网关产品，打造物流云平台，快速搭建云上私网服务，为集团...
来自：
云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法，自动识别冷热数据，将热数据保留在本地缓存，保证数据访问体验，无感知的将海量云存储数据接入本地数据中心，拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及，越来越多的用户把自己的业务放到了云上。但是随着业务的发展，如何提高业务的可靠性和连续性，跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持，可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例，对接同一个阿里云OSS Bucket，可以实现快速的异地文件共享和分发，非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合，老业务是从数据中心迁移过来的使用的是标准的存储协议，例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术，支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情，云存储网关正好起到一个桥梁的作用，可以便捷的沟通新旧业务，进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具，用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低)，同时挂 载在用户的客户端需要额外的配置和缓存资源，对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关，用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
配置 说明 共享名称 自定义，smb-shared 缓存路径 选择之前创建的缓存盘，共享目录>缓存盘>OSS 缓存容量 建议 40GB以上 传输加速 传输加速会提高跨域情况下数据传输速度充分利用网 关的公网带宽，请确保所选用的 OSS bucket已经打 文档版本：20210525 51 本地数据中心基于 SMB/NFS协议访问对象存储 配置本地云存储网关 开 ...
- 产品推荐
- 这些文档可能帮助您