基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
审阅人 毕役、云滴、子关、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-11-20 云魁 云滴、毕役 创建 V1.1 2019-11-25 筱晖-文档优化 增加 HDFS迁移到 OSS和 V1.2 2019-12-25 云魁 子关 JindoFS的方案 V1.3 2020-01-31 云魁 修改概览页场景描述 V1.4 2020-02-07 云魁 更新 VPN网关配置 增加附录，直接通过...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
拥有已经通过备案的域名 开通 ECS、OSS、Databricks数据洞察、RDS和 VPN网关等服务。文档版本：20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 资源规划说明 资源规划说明 本方案仅作为实践演练使用，在生产环境中执行时请结合业务系统实际架构进行 调整。本方案购买的所有云产品规格均为演示需要，请...
阿里云云原生可观测套件
阿里云云原生可观测套件围绕Prometheus服务、Grafana服务和链路追踪服务，通过标准的PromQL和SQL提供数据大盘展示、告警和数据探索能力。
云拨测 Facebook宕机背后，我们该如何及时发现DNS问题 云拨测 干货｜后互联网时代，运维工程师的必备性能优化指北 云拨测 云拨测助力节卡机器人 全面优化海外网站性能 云拨测 拒做背锅侠！如何利用网站性能优化驱动产品体验提升 云拨测 云拨测助力伟东云教育，全面提升全球用户体验 云拨测 面对DNS劫持，只能坐以待毙吗？云...
来自：
云产品
容器服务 Kubernetes 版 ACK
阿里云容器服务Kubernetes版ACK（容器服务Kubernetes版，简称ACK）支持企业级K8s容器化应用的全生命周期管理，提供高性能可伸缩的容器应用管理能力，助力企业高效运行云端K8s容器化应用。
立即购买免费试用快捷入口控制台文档APISDK产品定价05:12通过控制台快速使用 ACK产品动态内容甄选新版本容器服务 Kubernetes 版 v1.28 开放升级2024.01.03新功能托管节点池时开启指定自动化运维功能2024.01.03新功能基于多集群网关实现同城容灾2024.01.03入门必读快速上手容器服务ACK2023.07.10可观测性可观测性体系概述...
来自：
云产品
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
文档编号 299 文档版本 V1.0 版本日期 2022-03-21 文档状态 对外发布 制作人 七凌、昊博、慕笛 审阅人 天裴、厉博 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2022-03-21 七凌、昊博、慕笛 天裴、厉博 创建 文档版本：20220321 I E-HPC低成本实现量化策略回测 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
20210224（发布日期）文档版本：20150122（发布日期）II 游戏数据运营融合分析 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 游戏数据运营融合分析 文档编号 157 文档版本 V2.0 版本日期 2021-02-24 文档状态 外部发布 制作人 七凌，明中 审阅人 云魁，阿谈 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 ...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
敬海、游士 审阅人 子关、期会、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-20 云魁 子关、期会、游圣 创建 V1.1 2019-12-25 筱晖 云魁 文档优化 V1.2 2020-01-09 云魁、子关 子关 增加附录 使用 CADT创 V1.3 2021-07-21 游士 建资源，更新部 分命令 文档版本：20210721 I 自建Hive数据仓库跨版本迁移...
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器（神龙）自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器（ecs.ebmg5s） l专有网络VPC
广泛应用于企业级应用数据共享、容器、AI机器学习、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流、数据库备份等 场景。详见 https://www.aliyun.com/product/nas 文档版本：20220512 III Hyper-V on弹性裸金属 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 最佳实践概述.1 前置条件.2 资源规划.3 ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
这种动作（网页浏览，搜索和其他用户的行动）是在现代网 络上的许多社会功能的一个关键因素，这些数据通常是由于吞吐量的要求而通过 处理日志和日志聚合来解决。对于像 Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka 的目的是通过 文档版本：20210723 III 自建Hadoop迁移...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
20220414 文档版本：20150122（发布日期）II 基于 DDH+MyBase降本合规最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 基于 DDH+MyBase降本合规最佳实践 文档编号 181 文档版本 V1.1 版本日期 2022-04-14 文档状态 外部发布 制作人 天裵 审阅人 阿谈、阿瑟 文档变更记录 版本编号 日期 作者 审核人 说明 V...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
独立的公网 IP资源，可以绑定到阿里 云专有网络 VPC类型的 ECS、NAT网关、私网负载均衡 SLB上，并可以动态解 绑，实现公网 IP和 ECS、NAT网关、SLB的解耦，满足灵活管理的要求。详见：https://www.aliyun.com/product/eip SLB：负载均衡（Server Load Balancer，简称 SLB）。多台云服务器进行流量分 发的负载均衡服务，可以...
自建ELK迁移阿里云日志服务
场景描述 ELK Stack（Elastic/Logstash/Kibana） 通常 被用于日志实时分析， 在开源社区中有大量 的内容和使用案例。 本文介绍如何将自建的 ELK 系统迁移到阿里云 SLS 日志服务。 解决问题 1. 自建 ELK 如何迁移到阿里云日志服务。 2. 如何使用 Logtail 采集日志。 3. 如何使用阿里云日志服务对日志进行查 询、 分析。 产品列表 阿里云日志服务（SLS） VPN 网关 IPSec VPN 云服务器
（默认显示15分钟内日志，如果没有日志可以参考章节3.1通过拨测网 站或者脚本产生nginx访问日志）文档版本：20240422 36自建ELK迁移阿里云日志服务（SLS）ELK迁移SLS 4.3.迁移结果校验 对比Logtail采集到SLS的数据与Filebeat采集到ES上的数据是否相同，可以同时 查询某个字段值查看返回结果，进行数据迁移验证。这里以查询...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
MSE网 关的访问地址在实例基本概览页面可以看到。4.1.带自定义插件测试 由于本次测试需要模拟发送 post请求，请求体 body的格式为 json字符串，因此我们 采用 postman这个工具进行测试。请访问 https://www.postman.com/downloads/ 下载安装并完成注册。打开 postman界面，创建新的测试场景 文档版本：20240426 22 MSE云...
智能外呼机器人
阿里云智能外呼机器人即通过业务的场景自动发起的电话外呼任务。支持灵活画布配置，精准语音识别、自然人声合成、丰富开放API。通过人与机器人的语音对话交互收集业务结果，并对数据加以统计处理，获取用户反馈，帮助客户轻松实现智能化外呼。能够降低呼叫中心人力外呼成本，提升信息筛选及反馈效率。
基于通义千问客服对话大模型，在企业服务用户的入口（如网站、APP、IM工具等）部署产品可提供7*24小时自助的咨询服务，SaaS化的管理系统，可上传文档、网页、高频问题、表格、多轮对话流程作为机器人知识源。产品提供完善的接口，企业可进行二次集成开发，借助智能化提升服务体验与效率.能实现从对话录音或者对话文本中，...
来自：
云产品
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
应用场景 对网关有认证鉴权安全需求的场景，对于敏感 的服务路由（可通过黑白名单方式配置）在网 关层进行认证鉴权。解决问题 MSE网关和认证鉴权服务的集成问题 产品列表 专有网络 VPC 传统负载均衡 CLB 云原生网关 MSE 最佳实践频道 Serverless应用引擎 SAE http://bp.aliyun.com 云速搭 CADT 阿里云最佳实践分享群 钉钉...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
步骤2 在笔记本电脑上准备验证脚本 test.sh，替换下列脚本中红色 ip地址为 MSE云原生网 关入口地址。bin/bash for((i=1;i;i+));do curl http://x.x.x.x/helloDuohuo #ip需要替换成您网关的公网 IP sleep 0.5 echo 文档版本：20240423 35 基于MSE云原生网关同城多活最佳实践 场景验证 done 使用 vi或者其他文本编辑器创建，...
- 产品推荐
- 这些文档可能帮助您