基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
本实践通过 HttpClient.java、IP2Region.java实现将访问 APP的 IP地址转化为地理 位置。IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
首选在云服务器执行命令获取 IP地址 cat/usr/local/ilogtail/app_info.json 配置项 说明 机器组名称 demo-log-group 机器组标识 IP地址*IP地址 在云服务器执行命令 cat/usr/local/ilogtail/app_info.json 获取 IP地址 文档版本：20211203 15 SLS多云日志采集、处理及分析 Logtail日志采集处理分析*注：1.由于本实践仅有一台...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
步骤2 查 看 杭 州 区 域 EMR 集 群 主 机 的 内 网 IP 地 址，通 过 https://emr.console.aliyun.com/#/cn-hangzhou/cluster 登录到控制台，单击集群名称 进入详情页面。文档版本：20210714 35 自建Hadoop数据迁移到阿里云 EMR 创建IPSec VPN隧道 我们以 emr-worker-2主机的内网 IP地址进行互通性验证。步骤3 首先通过 SSH...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
直接访问 SLB的 IP地址，端口 80，可以看到登录应用界面：文档版本：20200106 68 Spring Cloud Netflix应用迁移 EDAS 微服务应用部署 EDAS环境 自此，SLB配置成功，支持从 SLB访问应用。4.4.查看应用监控和调用链 步骤1 启动应用监控。单击链接，到组件中心开通应用监控，单击立即开通。步骤2 查看应用监控。访问 Piggy...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
步骤1 登录 CADT控制台，在应用>我的应用页面，找到这个 flink-yitian应用，单击查看 架构图。步骤2 打开资源清单，单击释放全部资源。文档版本：20230801 21 MRACC加速倚天 ECS实例 Spark集群性能 一键释放资源 步骤3 确认后，需要点击确定按钮。步骤4 需要用户再次确认，点击确定后，如果是主账号会触发风控（手机校验等...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 27 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤8 添加白名单，填写集群所在 VPC的 IP段。文档版本：20201224 28 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤9 通过 DMS数据管理，登录云数据库 ClickHouse。步骤10 输入数据库账号和数据库密码，单击测试连接。文档...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
[General] Name：nsx-edge Node：nsx-edge（192.168.10.91）文档版本：20191121 154 VMwareon弹性裸金属 安装和部署VMware 说明：这里的IP地址是您的nsx-edge网卡的私网IP地址。 TransportZones：选择添加ext-tz（VLAN）和vtep-tz（Overlay）[N-VDS][NewNodeSwitch] EdgeSwitchName：NVDs-vlan UplinkProfile：...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
按照本节操作，成功配 置白名单后，就只能被WAF的IP地址访问。创建访问控制策略组 步骤1 登录Web应用防火墙管理控制台。（https://yundun.console.aliyun.com/?p=wafnext#/waf/cn/manage/domain/list）步骤2 网站接入页面，单击Web应用防火墙回源IP网段列表。文档版本：20220210 8传统企业业务上云基础安全防护 Web应用...
大数据workshop
大数据workshop
文档版本：20210628（发布日期）17 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 文档版本：20210628（发布日期）18 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤2 使用 DMS登录数据库 步骤3 首次登录，需要添加 DMS的 ip为白名单。单击设置白名单，系统会自动将 IP段增 加到当前 RDS实例。文档版本：20210628...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
文档版本：20210803（发布日期）18阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤2 使用DMS登录数据库（首次登录添加DMS的ip为白名单）。文档版本：20210803（发布日期）19阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤3 在DMS中选择wokshop数据库导入数据，选择db_dump.sql文件导入(包含所有表 的...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
步骤2 配置主服务器 hosts【注意修改为实际 IP地址】su-root vim/etc/hosts 192.168.20.245 db01 db01 192.168.10.208 db02 db02 文档版本：20220207 35 弹性裸金属自建 ORACLE数据库双机 部署数据库服务器 步骤3 配置备机。登录备机。ssh root@db02 步骤4 查看 hostname和 host文件。hostname cat/etc/hosts 步骤5 创建 ...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
配置项 说明 计费方式 抢占式实例 地域 华东 1（杭州）随机分配 实例 实例规格：ecs.n1.tiny 购买实例数量：1 台 镜像 公共镜像 文档版本：2021-07-12 23 资源管理 资源目录 CentOS 7.6 64位 存储 保持默认配置即可。配置完成，单击下一步：网络和安全组。步骤4 在网络和安全组页面，参考下表示例说明，配置相关参数。配置...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
若实际生产环境，需要调整允许访问的 IP地址（段），可以在白名单进行调整，调 整后 DRDS只会放行白名单内的 IP访问。文档版本：20220506（发布日期）33 云上高并发系统改造 部署高并发数据库环境 4.3.为 DRDS配置 private zone 步骤1 点击进入 tpch数据库。步骤2 复制内网地址。可以看到用户名与数据库名相同。步骤3 回到 ...
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发展，各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景，提供一键部署模版，进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
检查IPv6地址是否生效 步骤1 通过“远程登录”访问 ECS 步骤2 在对话框中输入模版中设置的登录密码，本示例为 Test1234 步骤3 查看ECS的 ip地址，linux使用（ip addr 或 ifconfig命令）：文档版本：20240821 18 通过云速搭创建具有 IPv6地址的ECS实践 显示的 ipv6地址与控制台一致，并显示为“scope global noprefixroute”...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
Hologres致力于低成本和高性能地大规模计算型存储和 强大的查询能力，为您提供海量数据的实时数据仓库解决 方案和实时交互式查询服务。解决问题 1.加速查询MaxCompute数据 产品列表 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 专有网络VPC 交换机vswitch 最佳实践频道 Hologres http://bp.aliyun.com 实时...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
附录 测试环境安装.26 4.1.TPC-H安装.26 文档版本：20210412 IV PolarDB如何应对大并发复杂查询 最佳实践概述 最佳实践概述 概述 在面向 C端或者多个小 B端的 SaaS化服务场景下，数据库经常面临大并发的复杂查 询业务压力，比如餐饮平台的商户随机查看订单统计情况；ERP服务平台面临大量零 售商户查看库存报表情况。此类...
- 产品推荐
- 这些文档可能帮助您