基于函数计算FC实现阿里Kafka消息轻量级ETL处理
<em>基于</em>函数计算FC实现阿里<em>云</em>Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
对象存储 OSS:对象存储 OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的 云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等 各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理 能力更便捷地使用数据。云速搭 CADT(Cloud Architect Design Tools...
来自: 最佳实践 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心<em>基于</em>SMB/NFS协议访问对象<em>存储</em>最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
本地数据中心基于 SMB/NFS协议访问对象存储 最佳实践 业务架构 场景描述 本地数据中心在本地存储有限的情况下可以 于云存储网关搭建一个海量文件系统的文件 服务,实现多个数据中心互相之间高效的同步 和共享数据。云存储网关以对象存储 OSS为后 端存储,为云上和云下应用提供业界标准的文件 服务(NFS和 SMB)和块...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
基于HBR上统一备份
<em>基于</em>HBR<em>云</em>上统一备份
场景描述 混合云备份(简称HBR)是一种简单易用且高性价 比的在线备份服务,可以为阿里云ECS,NAS,OSS 以及自建机房内的各类数据提供安全,高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
兼容 POSIX 文件接口,可支持数千台计算节点共享访问,可 以挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC,AI训练 PAI等计算业务上提供高性能的共享 ,用户无需修改应用程序,即可无缝迁移业务系统上云。更多信息,请参见:https://www.aliyun.com/product/nas 混合...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,混合云备份,云速搭
中小企业基于SAG APP实现上移动办公
中小企业<em>基于</em>SAG APP实现<em>云</em>上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
4.阿里控制台统一配置管理 产品列表 企业网 CEN 智能接入网关 SAG APP 服务器 ECS 解析 PrivateZone 最佳实践频道 阿里最佳实践生态群 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 中小企业基于SAG APP 实现上移动办公最佳实践 文档版本:20211008(发布日期)文档版本:20150122(发布...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
<em>基于</em>云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板,针对生物制药领域的药物筛选场景,提供开箱即用的整套解决方案工具包,整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本:20240204(发布日期)基于云速搭 CADT部署药物筛选批量...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,日志服务(SLS),容器镜像服务 ACR,操作审计,密钥管理服务,云防火墙,弹性高性能计算E-HPC,云速搭
基于DataWorks的大数据一站式开发及数据治理
<em>基于</em>DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发,包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS,使用Hive进行数据分析。通过Dataworks进行数据治理,数据地图查看数据信息和血缘关系,数据质量监控异常和报警。 适用场景  日志采集、处理及分析  日志使用Flink实时写入HDFS  日志数据实时ETL  日志HIVE分析  基于dataworks一站式开发  数据治理 方案优势  大数据一站式开发,完善的数据治理能力。  性能优越:高吞吐,高扩展性。  安全稳定:Exactly-Once,故障自动恢复,资源隔离。  简单易用:SQL语言,在线开发,全面支持UDX。  功能强大:支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ,以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本:20210207 文档版本:20150122(发布日期)II...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,E-MapReduce,DataWorks,实时计算,云速搭
基于弹性计算的AI推理
<em>基于</em>弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前,模型已经训练完成。例如,刷脸 支付中,我们在刷脸的时候,就是推理的一个过 程。再比如图像分类,目标检测,语音识别,语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
在实现层面,它 Kubernetes、helm和 Kubeflow。但数据科学家可能对于 Kubernetes知之甚少。与此同时,用户需要 GPU资源和节点管理。Arena还提供了 top 命令,用于检查 Kubernetes集群内的可用 GPU资源。简而言之,Arena的目标是让数据科学家感觉 自己就像是在一台机器上工作,而实际上还可以享受到 GPU集群的强大力量...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
云速搭部署基于OSS的Nextcloud网盘
云速搭部署<em>基于</em>OSS的Nextcloud网盘
通过云速搭实现基于OSS的NextCloud网盘的部署,这里使用ECS的UserData特性自动安装MySQL等组件,减少配置工作量。
详见 https://www.aliyun.com/product/ecs 对象存储 OSS:对象存储服务(Object Storage Service,OSS)是一种海 量、安全、低成本、高可靠的云存储服务,适合存放任意类型的文件。容量和 处理能力弹性扩展,多种存储类型供选择,全面优化存储成本。详见 https://www.aliyun.com/product/oss 文档版本:20220328 3 云速搭...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云速搭CADT
新零售商超基于Serverless服务化改造
新零售商超<em>基于</em>Serverless服务化改造
某零售商超行业龙头企业,主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态,涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展,其在快速上云后,将核心业务改造为全Serverless架构的中台模式,采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心,弹性支撑日常和大促峰谷所需资源,轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构:FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用:毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维:函数式极简编程可专注于业务创新,无采购和部署成本、提供监控报警等完备的可观测能力。
产品列表 最佳实践频道 阿里最佳实践技术分享群 专有网络 VPC 服务器 ECS API网关 表格存储 OTS 数据传输服务 DTS 函数计算 FC 如二维码过期,云速搭 CADT 请搜索群号:31852400 新零售商超基于 Serverless服务化改造 文档版本信息 阿里 新零售商超 基于 Serverless服务化改造 最佳实践 文档版本:20210519(发布日期...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,数据传输,函数计算,API网关,表格存储
基于SLS实现统一告警最佳实践
<em>基于</em>SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
详见:https://www.aliyun.com/product/sls OSS:阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成 本、高可靠的云存储服务,提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务,广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议,开箱即用,轻松实现快速上云,更专业、更可靠、更安全。
消息队列 RabbitMQ 版是一款基于自研的分布式存储架构实现的 AMQP 0-9-1 协议的消息产品。Serverless 系列打破固定资源付费模式,按量付费可节省大量成本。消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端,解决开源各种稳定性痛点(例如消息堆积、脑裂等问题),提供多可用区高可用的稳定服务.消息队列 RabbitMQ 版 ...
来自: 云产品
原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓,作为一体化大数据智能计算平台ODPS的大规模批量计算引擎,MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务,使您经济高效的分析处理海量数据,进行敏捷的业务洞察。
基于阿里 MaxCompute和DataWorks 构建了企业级数据仓库体系,底层数据存储方便、便宜、易拓展,计算效率高、反应快,并支持超大规模数据任务自动化管理。和阿里的其他平台如 Quick BI良好的兼容打通,很方便的实现了数据应用一体化,减少了大量额外的开发成本和人力成本。平台一直和用户有良好沟通、反馈,不断优化改进...
来自: 云产品
消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称,旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务,按实际使用量付费,自适应弹性,跨可用区容灾,帮助客户降低使用和维护成本,专注业务创新。
基于云消息队列 RocketMQ 的高并发、高可用、消息无丢失的特性,保证了青社团核心系统的稳定性,支持了业务的快速发展.图文卡片(支持一行2、3、4).靖鑫,也树,徐衡,别针.0 基础掌握 RocketMQ 5.0 训练营.阿里云消息负责人&Apache RocketMQ 联合创始人隆基带你深入浅出了解 RocketMQ.5 分钟打造应对流量洪峰的商城交易系统....
来自: 云产品
Serverless 应用引擎SAE
Serverless 应用引擎 SAE(Serverless App Engine)是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s,秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用(如 Web /微服务 /Job任务)到 SAE,并自动伸缩实例按使用量计费,开箱即用日志、监控、负载均衡等配套能力。
您只需基于Spring Cloud/Dubbo开发规范迭代每个微服务应用,由阿里SAE提供底层资源调度、部署、灰度发布、微服务治理和监控诊断能力.零代码改造平滑迁移应用.零代码侵入就能完成 Dubbo/Spring Cloud 应用快速上云.免运维底层IaaS,K8s、微服务组件、APM组件等.免运维底层基础设施,无需自建 ZooKeeper,Eureka,Consul、...
来自: 云产品
边缘节点服务ENS
阿里云边缘节点服务(Edge Node Service, 简称ENS)基于运营商边缘节点和网络构建,一站式提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本。
阿里边缘 致力提供全球领先的边缘基础设施服务.越来越多的企业重视通过边缘的能力为用户提供更好体验。有了\\.一粟 —— 数字化“抗疫”,社会化大协同之战.,.通用icon文字列表.计算多形态,接入零门槛.算网融合,实现多点协同;终端化,助力业务提效.上云边界扩展至最后一公里,端到端网络时延 99.9%,接入...
来自: 云产品
实时数仓Hologres
Hologres(原交互式分析)是一站式实时数据仓库引擎,支持海量数据实时写入、实时更新、实时分析,支持标准SQL(兼容PostgreSQL协议),支持PB级数据多维分析(OLAP)与自助分析(Ad Hoc),支持高并发低延迟的在线数据服务(Serving),与MaxCompute、Flink、DataWorks深度融合,提供离在线一体化全栈数仓解决方案。
两种存储基于盘古系统,针对SSD优化.计算、存储按需弹性独立扩展,无需数据搬迁.支持按使用计费,支持数据冷热存储,整体拥有成本更低.负载隔离、高可用、细粒度权限、数据加密等.面向多维分析(OLAP),适合静态报表展示.非原生架构,扩展成本高,集群规模有限.支持有限SQL,对复杂Join、子查询等支持效率低....
来自: 云产品
数据库 Tair(兼容 Redis)产品概述
阿里云数据库Tair(兼容Redis®)能够应对开源Redis难以覆盖的场景,并提供稳定的高性能、低时延服务,包括多线程处理能力、多种存储介质等更多企业级服务,广泛应用于缓存、内存存储场景。
产品解决方案文档与社区权益中心定价市场合作伙伴支持与服务了解阿里AI 助理备案控制台数据库 Tair(兼容 Redis)产品概述产品功能选型与定价入门与试用相关资源控制台文档联系我们立即购买高性能的数据库 Tair(兼容 Redis®*)Redis 开源版和 Tair 企业版,提供亚毫秒级的稳定时延立即购买免费试用生态兼容兼容...
来自: 云产品
原生数据仓库 AnalyticDB 产品功能
阿里云云原生数据仓库AnalyticDB提供数据库生态兼容、高性价比和极致分析性能,具有稳定可靠、弹性扩展等性能特征,帮助企业打造全场景覆盖的一站式数据分析平台。
产品解决方案文档与社区权益中心定价市场合作伙伴支持与服务了解阿里AI 助理备案控制台原生数据仓库AnalyticDB原生数据仓库AnalyticDB原生数据仓库AnalyticDB MySQL版原生数据仓库 AnalyticDB PostgreSQL 版产品概述产品功能选型与定价入门与试用技术解决方案相关资源控制台文档联系我们立即购买产品功能秒级...
来自: 云产品
< 1 2 3 4 ... 27 >
共有27页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用