应用日志数据归档
方案为企业提供云上日志数据的存储成本优化。提供了访问日志数据采集、自动压缩、持久化存储,满足企业的网站访问日志数据的归档需求。具有低成本、免运维、弹性扩容的优势。
相关产品云服务器 ECS日志服务 SLS对象存储 OSS专有网络 VPC在线咨询方案优势大规模采集支持高吞吐量的日志数据采集,每秒可达百万条日志数据,可满足大规模应用的日志采集需求。自动化压缩提供自动化压缩功能,可对采集到的日志数据进行压缩处理,减少存储空间占用,节省存储资源。持久化存储支持将日志数据归档到对象...
来自: 解决方案
VPN网关
阿里云VPN网关(VPN Gateway)是一款基于Internet,通过加密隧道将企业数据中心、办公网或终端与阿里云专有网络(VPC)安全可靠连接起来的服务。VPN网关在国家相关政策法规下提供服务,支持IPsec VPN、SSL VPN及国密算法等丰富特性,满足分支互联、移动办公等接入场景。
阿里云VPN网关(VPN Gateway,简称VPN)是一款基于Internet,通过加密通道将企业数据中心、办公或终端与专有网络(VPC)安全可靠连接起来的服务。支持IPsec VPN、SSL VPN及国密算法等能力,满足分支互联、移动办公等接入场景.更多产品与服务.查看更多商品.更多产品与服务.随时随地安全上云,智能接入网关APP免费试用.云...
来自: 云产品
智能接入网关SAG
智能接入网关(Smart Access Gateway,简称SAG)是阿里云提供的一站式快速上云接入产品,企业可通过智能接入网关SDWAN技术实现Internet就近加密上云,适用于中小数据中心、分支互联、移动办公、应用加速及混合云等场景。阿里云SAG产品配置高度自动化,即插即用,网络拓扑变化自适应快速收敛,自动探测最优链路,故障时主动实时切换,高质量、高安全、高效率的帮助用户解决网络接入最后一公里难题。
云企业CEN.VPN网关是一款基于Internet,通过加密通道将企业数据中心、企业办公网络或internet终端和阿里云专有网络(VPC)安全可靠连接起来的服务.查看智能接入网关使用文档.查看API调用相关文档.API 参考.查看SAG不同类型购买指南.查看SAG不同类型配置指导.<查看全部云网络产品.立即购买(硬件版).购买vCPE(软件版)....
来自: 云产品
事件总线 EventBridge
事件总线 EventBridge是阿里云提供的一款无服务器事件总线服务,支持阿里云服务、自定义应用、SaaS应用以标准化、中心化的方式接入,并能够以标准化的 CloudEvents 1.0 协议在这些应用之间路由事件,帮助您轻松构建松耦合、分布式的事件驱动架构。
数据可靠性 99.99999999%,多副本数据冗余与快速切换技术确保数据可靠;高并发&高可用.每次请求均会进行安全访问控制,确保数据安全;支持RAM主子账号、RAM访问控制,STS;支持HTTP/HTTPS协议。提供事件的可观测性能力,支持事件查询、审计以及全链路的追踪;提供事件的可治理能力,支持事件流控、事件回放、以及事件重试...
来自: 云产品
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地<em>数据</em>中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
配置 说明 共享名称 自定义,smb-shared 缓存路径 选择之前创建的缓存盘,共享目录>缓存盘>OSS 缓存容量 建议 40GB以上 传输加速 传输加速会提高跨域情况下数据传输速度充分利用 的公网带宽,请确保所选用的 OSS bucket已经打 文档版本:20210525 51 本地数据中心基于 SMB/NFS协议访问对象存储 配置本地云存储网关 开 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
基于Flink+ClickHouse构建实时游戏数据分析
基于Flink+ClickHouse构建实时游戏<em>数据</em>分析
在互联网、游戏行业中,常常需要对用户行为日志进行分析,通过数据挖掘,来更好地支持业务运营,比如用户轨迹,热力图,登录行为分析,实时业务大屏等。当业务数据量达到千亿规模时,常常导致分析不实时,平均响应时间长达10分钟,影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据,实现秒级响应的实时用户行为分析,并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析,得到用户特征和画像,实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓,对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能,千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高,支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用,免运维,全球多Region部署,快速支持新游戏开服。 Flink+ClickHouse+QuickBI
结论:云数据库 ClickHouse更加适合海量数据分析型业务、大宽表聚合查询分析、 Hash对齐 Join场景、实时日志分析场景等等 文档版本:20201224 6 基于 Flink+ClickHouse构建实时游戏数据分析 架构设计 2.架构设计 2.1.架构图 本实践主要以流处理为主线,搭建实验环境,构建在线用户行为分析平台:2.2.核心模块 游戏服...
来自: 最佳实践 | 相关产品:云服务器ECS,弹性公网IP,实时计算,Quick BI,消息队列 Kafka 版,云数据库 ClickHouse
互联网电商行业离线大数据分析
互联网电商行业离线大<em>数据</em>分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
基于模版新建 DataV 默认配置 新用户可以选择使用互联网电商行业离线大数据分析 搭建电商网站Demo 版 API网关 数据发布网关 默认配置 基于模版新建 付费基础版 基于模版新建 DataWorks独享资 源,2个 独享数据服务资源:dataworks 其他参考默认配置 选择api.s2.small 独享数据集成资源:选择4C8G,资源 量2个 MaxCompute ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
云服务总线CSB
云服务总线CSB是一个基于高可用分布式技术构建的服务API开放平台,帮助企业打通内外新旧系统,实现跨技术平台、跨应用系统、跨企业组织的服务互通,以服务API的形式,加以一致的组织和管控,构建企业内部以及与上下游、第三方企业之间融合、重塑、创新的合作平台。
云服务总线CSB公共云服务下线通知.云服务总线CSB公共云服务下线通知.<查看全部产品.云服务总线(Cloud Service Bus,简称CSB)提供平台化的服务开放能力,帮助企业打通整合内外新旧业务系统,实现跨环境、跨归属应用系统之间的互通,形成组合方案.云服务总线 CSB.协议数据转换.提供常用协议服务的接入、开放和转换,支持...
来自: 云产品
企业构建统一CMDB数据
企业构建统一CMDB<em>数据</em>源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
获取ECS网络信息 本章节,我们以ECS资源的网络配置数据为例,使用 python脚本模拟将资源配置 导入企业自有系统。用到了配置审计的 API,在使用前需要导入阿里云 SDK 核心库:aliyun-python-sdk-core:在多账号情况下,列出主账号下指定账号 组的所有资源数据:在多账号情况下,查询指定资源的详细数据 注意:上述两个...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
云存储网关CSG
阿里云云存储网关CSG是一款数据存储管理工具,以对象存储为后端存储。为企业应用提供文件挂载和数据共享服务。可灵活部署,无缝对接企业应用,并支持数据海量拓展和冷热分层。
利旧原有设备,无缝对接云端,在不修改原有使用架构的同时,享受云端易扩展、低成本的存储空间.无需投入巨资建设异地物理备份机房.可充分利用oss的数据生命周期管理,在oss-...云存储网关可以部署在客户数据中心或阿里云上,帮助客户简化存储管理,实现企业应用和阿里云存储服务的无缝对接.了解更多存储产品.云存储网关 CSG.
来自: 云产品
移动网关
移动网关服务,源于阿里云移动开发平台。移动网关 MGS,连接移动客户端与服务端的枢纽。简化了的数据协议和通讯协议,从而显著提升开发效率和网络通讯效率。移动网关 MGS,为网络隔离的系统间提供高性能、高安全、高可靠的通信,同时保障内部系统的安全性,并发峰值高达“百亿次/分钟”,业务仍可平稳运行。
移动网关 MGS 简化了客户端与服务端的数据协议和通讯协议,从而显著提升开发效率和网络通讯效率.借助移动网关 MGS,无需额外工作,即可形成移动服务能力,将吸纳有成熟的后端服务开放出去.开放移动服务能力.业务需要支持多样化的终端设备(手机/loT 等等),往往增加了系统复杂性,企业只需在移动网关 MGS 中定义服务,便能...
来自: 云产品
NAT网关
在VPC环境下构建一个安全隔离的公私网流量的出入口网关,通过自定义SNAT,DNAT规则灵活使用网络资源。
NAT网关(也即VPC NAT网关)可使VPC内的ECS实例通过私地址转换服务,实现VPC与VPC之间、及VPC与线下IDC互访能力.NAT网关资源包购买.客户服务钉群.查看全部日志.产品功能子项.产品功能子项描述.产品功能描述.源地址转换(SNAT).VPC内多台ECS可以通过SNAT功能使用同一个公网地址访问公网,避免ECS直接暴露在公网而产生安全...
来自: 云产品
API网关
API 网关、ingress 流量网关、微服务网关和安全网关四合一,并能满足 AI 场景下对网关的新需求。
查看全部产品.API 网关(API Gateway)提供API托管服务,覆盖设计、开发、测试、发布、售卖、运维监测、安全管控、下线等API各个生命周期阶段。帮助用户快速构建以API为核心的系统架构,满足新技术引入、系统集成、业务中台等诸多场景需要.API 网关.API网关可作为各系统的API统一管控工具、快速实现互通互联和系统间集成...
来自: 云产品
大数据近实时数据投递MaxCompute
大数据近实时<em>数据</em>投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓,打通云下数据上云链路,解决数据复杂类型支持和动态分区问题,满足高级数据处理需求的最佳实践。 l混合云环境下,现有业务系统零改造,打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程,数据自动入仓。 l借助MaxCompute优化计算引擎,实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
上近实时数仓,打通云下数据上云链路,解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题,满足高级数据处理需求 区。的最佳实践。使用 DataWorks配置周期调度业务流程,数据自 产品列表 动入仓。借助 MaxCompute优化计算引擎,实现降本增 云服务器 ECS 效。云消息队列 Kafka 最佳实践频道 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,E-MapReduce,DataWorks,大数据计算服务 MaxCompute,数据总线,云速搭CADT
故障演练Chaos
故障演练(Chaos)是阿里云打造的云原生混沌工程平台,场景丰富、简单易用、安全可控、高效可靠,提供一站式架构分析、故障巡检等功能,帮助系统平稳上云。
服务间也存在强弱依赖,以电商下单业务为例,从业务角度看,下单对积分是弱依赖,对库存是强依赖,从系统依赖上看,对数据库是强依赖,缓存是弱依赖,强弱依赖治理就是通过科学的手段持续稳定地得到应用间依赖关系、流量、强弱等数据,提前发现因为依赖问题可能导致的故障,避免依赖故障影响用户体验,积累数据持续推进系统...
来自: 云产品
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求,在云 上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运 维方案,帮助用户方便可靠地使用本地盘机型, 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
Master节点 通常可以生成 1TB的数据进行基准性能测试,首先进入 hive-testbench目录下执行如 下脚本并加载测试数据 参数说明:数据集规模参数单位为 GB,1000表示生成的数据量为 1TB/tpcdata/tpcds 为表数据生成的目录,目录不存在就自动生成,如果不指定目录, 目录就默认生成到/tmp/tpcds目录下 cd hive-testbench#如果...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,E-MapReduce
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
自建Hive<em>数据</em>仓库跨版本迁移到阿里云Databricks<em>数据</em>洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统,购买阿里云 Databricks数据洞察集群之后,涉及到数仓 和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维,节省人力成 本。2.Databricks数据洞察...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
云速搭部署智能接入网关SAG APP
云速搭部署智能接入<em>网关</em>SAG APP
本篇最佳实践通过CADT在华东2上海和美西弗吉尼亚创建跨地域的VPC,在VPC内部署ECS模拟办公系统应用。通过CADT购买SAG APP版并挂载到云连接网CCN,通过云企业网CEN将云上跨地域的VPC和云连接网CCN打通,实现内网互联互通。登录SAG客户端之后,就可以通过内网IP访问云上资源。
云速搭部署智能接入网关 SAG APP 文档版本信息 云速搭 部署智能接入网关 SAG APP 最佳实践 文档版本:20211023(发布日期)云速搭部署智能接入网关 SAG APP 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署智能接入网关 SAG APP 文档编号 243 文档版本 V1.0 版本日期 2021-10-23 文档状态 对外发布 制作...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,智能接入网关
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版(简称AnalyticDB)是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务,可用于构建企业级报表系统、数据仓库和数据服务引擎。
不论在数据湖中的非结构化/半结构化数据,还是在数据库中的结构化数据,都可使用AnalyticDB MySQL同时完成高吞吐离线处理和高性能在线分析,真正做到数据湖的规模,数据库的体验。帮助企业构建数据分析平台,实现降本增效.PolarDB MySQL免费同步.云原生数据仓库AnalyticDB MySQL版.一份数据同时支持离线处理和在线分析,...
来自: 云产品
数据传输服务DTS
阿里云数据传输服务集数据迁移、订阅及实时同步功能于一体,能够解决公共云、混合云场景下,远距离、毫秒级异步数据传输难题,支持关系型数据库、NoSQL、大数据(OLAP)等数据源,其底层基础设施采用阿里双11异地多活架构,为数千下游应用提供实时数据流,已在线上稳定运行7年之久。
提供数据迁移、数据同步、数据订阅链路的十个实时性能指标和监控视图,直观监控各条链路的健康状况,辅助用户进行故障诊断.查看同步链路状态和性能>.闭环的报警监控管理.可灵活配置任务延迟、任务状态等监控指标,对链路实时监控报警,并在故障消除后通知用户,实现监控、报警的闭环管理.大幅度降低运维成本.丰富的性能...
来自: 云产品
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用