基于Flink的资讯场景实时数仓
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景,Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX,不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,NAT网关,云原生数据仓库AnalyticDB My,云速搭CADT
企业多账号环境下的安全资源统一管控最佳实践
企业多账号环境下的安全资源统一管控最佳实践
某地产公司在上海、杭州设有两个分公司,公司使用阿里云支撑各分公司的 IT 业务系统,这些系统由各分公司独立负责,包括独立负责云上业务账号的创建、员工权限的分配管理、资源的购买、IT 风险的管控、安全管理等。由于公司业务发展较快,各分公司创建了非常多的业务账号来承载新的业务,每个业务账号独立管理,带来了非常大的管理问题。人员权限管理混乱,离职员工在云上的身份梳理不清难以及时清理造成极大的安全隐患;账号权限过大、使用弱密码可能造成账号被盗数据泄露;公司内部缺乏统一的合规基线和安全管控,各业务系统各自为政,数据泄露、业务中断、安全入侵风险升级。 为了提升云上的管控效率和安全性,总公司成立新的信息安全中心和阿里云对接。信息安全中心的定位是统一采购安全产品,集中保障云上资源的安全性。
云防火墙的访问控制策略根据生效位置的不同分 为三层,分别是:互联网边界防火墙的访问控制策略、VPC 间防火墙访问控制策略和 主机间防火墙访问控制策略。文档版本:20220224 39 企业多账号环境下的安全资源统一管控 云防火墙中多账号统一管理实践 文档版本:20220224 40 企业多账号环境下的安全资源统一管控 云安全中心多...
来自: 最佳实践 | 相关产品:云安全中心,云防火墙,资源管理,云速搭CADT,云SSO
SLS多云日志采集、处理及分析
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务,通过日志服务 进行数据分析,帮助提升运维、运营效率, 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户,推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输;针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况,可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
注:1)NAT网关配置的公网 IP数限制 NAT网关的最大并发数,绑定单个 IP最大 连接数为 55000,当通过 NAT网关访问公网上同一个目的 IP和端口的带宽大于 2Gbps时,建议您为 NAT网 关绑定 4-8个公网 IP并构建 SNAT IP池,避免单 IP的端口数量限制可能产生的丢包 2)当有多个 EIP组成 SANT IP池时,如需节约带宽成本可以建议多 ...
来自: 最佳实践 | 相关产品:云服务器ECS,日志服务(SLS),NAT网关,E-MapReduce,全站加速 DCDN,云速搭CADT
自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
scp root@hadoop-master实例的 VPC IP地址:"/usr/local/hadoop-2.10.1/share/hadoop/common/*.jar \/usr/local/hadoop-2.10.1/share/hadoop/common/lib/*.jar \/usr/local/hadoop-2.10.1/share/hadoop/hdfs/*.jar"/root/apache-flume-1.8.0-bin/lib/使用实际 IP地址替换上面红色字体部分内容。5.最后,将两个预先创建好的...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
其中所有 MongoDB IP都设置为安装的 MongoDB的 ECS IP地址,而 rabbitmq IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中,如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}${NOTIFICATION_SERVICE_PASSWORD}${STATISTICS_SERVICE_PASSWORD}${ACCOUNT_...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
VMware on 弹性裸金属
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属,利用云计算平台提供的弹性基础设 施,降低部分运维成本和学习成本,使用其 擅长的技术工具专注自身业务,实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
类别 明细项 说明  一块ENI用于hostoverlay使用 VMware网络部署支持VLAN和ovlerlay两种方式,本例采用overlay部 署方式 IP地址 ENI的IP和公网IP为阿里云系统分配,每次分配的IP 不同,因此实际操作中需使用实际IP替换本例中的IP。文档版本:20191121 4 VMwareon弹性裸金属 搭建网络环境 1.搭建网络环境 1.1.创建专有网络 ...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙)
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
步骤1 登录 CADT控制台,在应用>我的应用页面,找到这个 flink-yitian应用,单击查看 架构图。步骤2 打开资源清单,单击释放全部资源。文档版本:20230801 21 MRACC加速倚天 ECS实例 Spark集群性能 一键释放资源 步骤3 确认后,需要点击确定按钮。步骤4 需要用户再次确认,点击确定后,如果是主账号会触发风控(手机校验等...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本:20201224 27 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤8 添加白名单,填写集群所在 VPC IP段。文档版本:20201224 28 基于 Flink+ClickHouse构建实时游戏数据分析 基础环境部署 步骤9 通过 DMS数据管理,登录云数据库 ClickHouse。步骤10 输入数据库账号和数据库密码,单击测试连接。文档...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
登录 AD1,添加 DNS解析记录:FQDN DNS记录类型 值 mail.mush-room.cn A CLB IP地址 2.打开服务器管理器,转到 工具>DNS 文档版本:20220119 83 Exchange Server云上部署最佳实践 配置 Exchange Server 文档版本:20220119 84 Exchange Server云上部署最佳实践 配置 Exchange Server 5.3.6.证书安装及设置 步骤1 在证书...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
执法宝-阿里云IoT执法宝
掌上执法,云端护法。结合智能城市物联网平台、区块链等能力,将传统执法记录设备进行技术升级,让执法过程有迹可循,真实完整。
云端查看终端数据,大盘式可视化管理执勤执法人员位置分布、在线情况.使用场景-title.蔡伟杰,靖鑫,也树.满足卡点、留观点、集中住宿点、医疗机构等场景下防疫控疫秩序维护的需求,避免检查、劝导、体温筛查等过程中可能引起的不必要的纠纷.各省市陆续出台相关规定,要求执法人员佩戴执法记录仪,范围包括公安、住建、环保、...
来自: 云产品
传统企业业务上云基础安全防护
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上,以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案,是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
按照本节操作,成功配 白名单后,就只能被WAF的IP地址访问。创建访问控制策略组 步骤1 登录Web应用防火墙管理控制台。(https://yundun.console.aliyun.com/?p=wafnext#/waf/cn/manage/domain/list)步骤2 网站接入页面,单击Web应用防火墙回源IP网段列表。文档版本:20220210 8传统企业业务上云基础安全防护 Web应用...
来自: 最佳实践 | 相关产品:云安全中心,Web应用防火墙,数据库审计,堡垒机,云防火墙,云速搭CADT
机场视频监控
机场视频监控
场景描述 该最佳实践适用于国内机场的视频监控行业,将线下视频文件通过混合云阵列缓存后,通过专线上传到阿里云OSS上。 也适用于其他混合云场景中,利用阵列缓存文件,并通过网络传输到阿里云OSS上的场景。 解决问题 1.通过混合云阵列+专线将线下文件传到阿 里云OSS上 2.通过阿里云OSS跨区域复制功能实现异 地文件备份 3.通过OSS的自动生命周期管理功能实现 文件生命周期管理 产品列表 OSS对象存储 混合云阵列 高速通道(专线)
在我们这个例子中,NFS服务是通过A控制器共享出来的,所以数据通道的IP地址是A控制器的IP地址,我们这里是“10.10.0.161”.使用root用户登录客户端Linux主机的终端,进行如下步骤: 检查网络的连通性。在终端窗口执行#ping[root@client1~]#ping10.10.0.161 如果命令返回“icmp_seq=0ttl=50time=35.450ms”类似的信息表示...
来自: 最佳实践 | 相关产品:对象存储 OSS,高速通道,混合云存储阵列 Hybrid Cloud
金融专属大数据workshop
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库,掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建,用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
文档版本:20210803(发布日期)18阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤2 使用DMS登录数据库(首次登录添加DMS的ip为白名单)。文档版本:20210803(发布日期)19阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 步骤3 在DMS中选择wokshop数据库导入数据,选择db_dump.sql文件导入(包含所有表 的...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据workshop
大数据workshop
大数据workshop
文档版本:20210628(发布日期)17 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 文档版本:20210628(发布日期)18 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 步骤2 使用 DMS登录数据库 步骤3 首次登录,需要添加 DMS ip为白名单。单击设置白名单,系统会自动将 IP段增 加到当前 RDS实例。文档版本:20210628...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
'-' 查询指定 AK的操作事件:*and event.userIdentity.accessKeyId:[AK]|SELECT"event.serviceName"as serviceName,"event.eventName"as eventName 查询有访问操作 IP,以及 IP的操作事件统计 统计所有访问 IP:*not event.sourceIpAddress:Internal|SELECT DISTINCT"event.sourceIpAddress"as ip 分析访问 IP的城市和...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
政务行业云解决方案-政务-政府上云-政府云平台-阿里云
政务行业云解决方案为政务行业云量身定制,安全合规的政务专属云资源服务平台,提供与公共云完全隔离的的,高安全合规的专属高规格物理集群,可以承载非涉密的敏感信息和重要政务业务并提供政务行业专业的SaaS服务。
业务逻辑漏洞挖掘 态势感知:感知弱点、位置威胁、定向攻击,攻击溯源 安全管家服务:7*24专家安全护航,系统加固、应急响应 舆情监控和处置 3、舆情监控:政府类网站攻击相关舆情 内容处置:违规域名、涉政信息,暴恐类信息,钓鱼网站,政府网站首页被篡改 应急值守:7*24小时值守,活动期间1分钟内响应和应急处置不良信息...
来自: 解决方案
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
ᅳ 劣势:涉及业务改造,需要考虑数据的备份、同步、汇聚分析、客户地理 改变数据写入冲突等问题。本例将 http服务的部署、ALB监听的配置整合到 CADT模板中,模板部署成功后 即可验证应用访问。步骤1 返回到 CADT控制台(https://bpstudio.console.aliyun.com/ ),双击图上 ALB实 例对象,打开资源清单,点击 跳转...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
弹性裸金属自建ORACLE数据库双机
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造:由于历史原因,客户业务系统只支持 ORACLE数据库,客户没有技术/时间去做技术栈 改造。 2.高性能:希望拥有比虚拟机更高的性能和稳定 性,以保障数据库高性能,支撑高并发的业务系 统。 3.高可用:追求数据库服务的高可用,在某一台数 据库服务器宕机时快速切换备机,实现对业务应 用的最小影响。 4.数据安全性:极端情况下能找回数据,数据备份 和恢复更方便。
G 实例规格 ecs.g6.xlarge(4C16G)操作系统 CentOS 7.6 64 存储 系统盘 高效云盘/40GB+数据盘 高效云盘/100GB 网络 分配公网 IPV4地址(按流量计费)安全组 开放安全组默认端口 数据库服务器 区域 上海 实例规格*可用区-数量 ecs.ebmc5s.24xlarge(96C192G)*(G-1台+F-1台)操作系统 CentOS 7.6 64 存储 系统盘 SSD/40...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,弹性公网IP,弹性裸金属服务器(神龙),云速搭
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
配置项 说明 计费方式 抢占式实例 地域 华东 1(杭州)随机分配 实例 实例规格:ecs.n1.tiny 购买实例数量:1 台 镜像 公共镜像 文档版本:2021-07-12 23 资源管理 资源目录 CentOS 7.6 64 存储 保持默认配置即可。配置完成,单击下一步:网络和安全组。步骤4 在网络和安全组页面,参考下表示例说明,配置相关参数。配置...
来自: 最佳实践 | 相关产品:资源管理
通过弹性公网IP确保服务迁移时公网IP不变
阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址不变的能力。您可以将转换后的EIP绑定到负载均衡SLB或其他ECS实例上,在不影响业务的情况下完成水平扩容、服务迁移。
阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址不变的能力。您可以将转换后的EIP绑定到负载均衡SLB或其他ECS实例上,在不影响业务的情况下完成水平扩容、服务迁移。通过弹性公网IP确保服务迁移时公网IP不变 阿里云提供了将原ECS实例所分配的固定公网IP转为弹性公网IP(EIP),且公网IP地址...
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用