开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档,面向开发者提供全方位的服务,有免费的实验课程和解决方案体验馆,帮助您快速上手。在阿里云 E-MapReduce 开发者社区,您可以和更多开发者交流。
API提供全方位的API查询、文档和调用等,助您快速通过API使用开源大数据平台E-MapReduce,便捷完成二次开发。SDK为开源大数据平台E-MapReduce的每种开发语言提供专业的在线调试、部署指南和丰富的场景化示例,帮助您简化OpenAPI的使用过程。镜像站170+开源软件镜像查看更多资源编排 ROSIaC 自动部署云资源查看更多WebIDE云...
来自: 云产品
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景,Kafka是数据的流转中心,Kafka中的数据一般是原始数据,可能存在多种数据混杂的情况,需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC,可以快速高效的搭建数据处理链路,用户只需要关注数据处理的逻辑,数据的触发,弹性伸缩,运维监控等阿里云函数计算都已经做了集成,函数计算FC也支持多种下游,OSS/数据库/消息队列/ES等都可以自定义的对接
创建函数前必须先创建服务服务就像函数的集合,同一个服务下的所有函数共享一些相同的设置,例如服务授权和日志配置等。文档版本:20240408 8 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 服务名称:根据实际业务自行填写。服务角色:默认选择 AliyunFcDefaultRole,如果下拉框没有,可以点击创建默认 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,函数计算,消息队列 Kafka 版
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景,企业的Kafka实例可能存在多种情况,比如使用阿里云Kafka服务,可能是自建开源Kafka,或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例,在这个前提下Kafka实例之间可能会需要消息同步的情况: 同帐号容灾场景:比如Kafka实例都是阿里云Kafka,但是Kafka实例会有主备之分,需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾:这类场景比如主Kafka是阿里云Kafka,备Kafka是IDC开源自建Kafka,或者是其他云上的Kafka。 不同业务之间消息同步:因为现在的业务通常不会是信息孤岛,都需要消息互通,所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例,并且这两个Kafka实例归属不同的RAM角色,有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题(重试机制,容错机制,死信队列等)。 大幅提升构建消息同步架构的效率,降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步,跨帐号阿里云Kafka实例 之间消息、元数据同步,阿里云Kafka实例和IDC 自Kafka(其他云Kafka)之间消息、元数据同步。应用场景 在大数据场景,企业的Kafka实例...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,函数计算,消息队列 Kafka 版
SAE-ACK应用双跑最佳实践
SAE-ACK<em>应用</em>双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通,实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景: l 因为SAE支持更丰富自动扩缩指标(比如QPS,RT,TCP连接数等),所以将相对稳态的应用部署在ACK中,将相对弹性波动大的应用部署在SAE,借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时,需要平滑过渡,所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
 阿里云微服务引擎(MSE)解决问题  阿里云容器服务(ACK) 安全组  因为K8s的HPA设置相对复杂,默认提供  云速CADT 的CPU和内存不能满足实际需求(尤其是 Java技术栈),所以可以将弹性波动大的 部署在SAE,借助SAE更丰富的HPA规 则应对流量脉冲。 K8s架构向Serverless架构迁移的平滑过 渡。最佳实践...
来自: 最佳实践 | 相关产品:容器服务 ACK,Serverless 应用引擎,微服务引擎
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景,将Kafka中的消息流转到其他下游服务是很常见的场景,除了常规的消息流转外,很多场景还需要基于消息体内容做判断,然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后,会自动触发函数计算中的函数,接收到消息,对消息内容做判断,然后再操作MongoDB。用户可以对提供的默认函数代码做修改,来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品,并完成了大多数的配置,用户只需要到函数计算和MongoDB控制台做少量配置即可。
创建函数前必须先创建服务服务就像函数的集合,9 文档版本:20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 同一个服务下的所有函数共享一些相同的设置,例如服务授权和日志配置等。l 服务名称:根据实际业务自行填写。l 服务角色:默认选择 AliyunFcDefaultRole,如果下拉框...
来自: 最佳实践 | 相关产品:函数计算,消息队列 Kafka 版,云数据库 MongoDB版
基于SpringCloud应用玩转MSE实践
基于SpringCloud<em>应用</em>玩转MSE实践
随着业务不断创新,大型的单个应用和服务会被拆分为数个甚至数十个微服务,微服务架构已经被广泛应用。 微服务的好处在于快速迭代,如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具,常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
的好处在于快速迭代,迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具,常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务注册配置中心、微 服务治理和云原生网关等一系列高性能和高可用的企业级 云服务能力。方案优势 本实践通过云速CADT,一键完成基础环境的搭建和部 署,提供...
来自: 最佳实践 | 相关产品:弹性公网IP,容器服务 ACK,日志服务(SLS),NAT网关,微服务引擎,消息队列 RocketMQ 版,云速搭
网盘与相册服务PDS
网盘与相册服务(简称PDS)是阿里云为客户提供的面向企业、团队与个人的数据管理开放平台,提供一站式数据存储、分析和AI的能力。方便客户快速高效的构建可支撑海量用户的网盘与相册服务,同时针对团队及个人用户,支持免开发开箱即用。
企业文件管理服务应用场景.88A_标题-应用场景.谢赟辉,靖鑫,也树.文档集中管理,保障数据安全.办公文档散落在员工个人电脑,存储方式散乱,存在重要资料外泄、损坏或丢失的风险;日常工作者找文件如同大海捞针,耗费大量时间成本,影响办公效率.提供文件目录式管理能力,支持上传、下载、移动、复制、删除等文件管理操作....
来自: 云产品
边缘节点服务ENS
阿里云边缘节点服务(Edge Node Service, 简称ENS)基于运营商边缘节点和网络构建,一站式提供“融合、开放、联动、弹性”的分布式算力资源,帮助用户业务下沉至运营商侧边缘,有效降低计算时延和成本。
边缘节点服务提供CDN边缘节点的就近接入和节点间互联互通,实现低延时、高稳定的音视频通信链路.边缘与边缘、边缘与中心智能选路,提升传输可靠性.解决地域分布广泛、网络质量不稳定带来的体验和延时问题.新业务敏捷启动,有效应对业务洪峰.海量视频的就近智能监控.政府、行业、商业等多类场景视频监控需求,视频流众多,...
来自: 云产品
图计算服务GraphCompute
阿里云图计算服务GraphCompute是一站式图数据管理和分析平台,支持图数据建模、导入与修改,支持Gremlin语言进行图查询,具备数据加载快、规模可扩展、查询延时低等优势。
图计算服务 GraphCompute 是一站式图数据管理和分析平台,支持图数据建模、导入与修改,支持 Apache TinkerPop 标准 Gremlin 语言进行图查询,具备数据加载快、规模可扩展、查询延时低(毫秒级)等优势,通过数据版本快速迭代和智能运维能力,帮助开发者轻松搭建海量关系数据的图应用服务.新用户可享通用型首月免费试用.新...
来自: 云产品
网盘与相册服务
网盘与相册服务基于阿里云高可用存储及高安全水位的能力,帮助客户解决办公数据的搜索、管理、共享、审计等文件管理难题,同时也可为企业办公新形态升级提供打包服务。
将已存储在阿里云OSS中的数据托管给相册与网盘服务PDS管理,PDS提供基于Drive、目录、文件的管理视图,提供给最终用户使用,并保留使用OSS原有接口的访问,完成数据在应用和用户间的联动以及和合作伙伴间的数据传递.将OSS中的数据通过简单配置,提供给最终用户(自用户或钉钉、支付宝、淘宝等用户)受控使用.将应用(如...
来自: 云产品
智能商业分析 Quick BI
瓴羊智能商业分析 Quick BI 是阿里云用户臻选的数据可视化工具,大幅提升数据分析和报表开发效率,一站式满足企业各种场景的数据分析和决策的诉求。
可按需增购组织管理群工作空间单工作空间多工作空间多工作空间组织管理不支持支持支持权限管理不支持支持支持...服务规格阿里云工单系统支持支持支持数据分析仪表板即席分析模板市场电子表格数据大屏智能小Q(智能搭建)数据应用企业门户订阅推送(邮件)自助取数监控告警数据源云数据库自数据库上传本地文件表单填报(原数据...
来自: 云产品
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
风险提示 Navigator API应用改造 有些应用程序可能会调用 Navigator API,请按需改造为 Ranger API或者 Atlas API。Ranger无法查到历史审计数据 如果要访问升级之前的历史审计记录,只能在 CDP 上保留一个“只读”的 Navigator实例,直到不再需要它为止。必须确保升级后 CDP上的 Navigator处于“只读”状态 ᅳ 删除用户的写...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
新版产品集合页
基于丰富的产品,将计算、存储、网络、数据库、大数据、人工智能等最新产品技术与场景深度融合,为开发者打造稳定可靠的云基础设施以及云原生的开发环境。
人脸人体视觉智能开放平台提供普惠的视觉API服务,广泛应用于数字营销、互联网娱乐泛金融身份认证等场景。图像搜索免费试用以深度学习和机器视觉技术为核心,帮助用户在自图库中实现相同或相似图片搜索的以图搜图服务。视觉计算服务弹性可伸缩的视觉智能计算服务,提供视觉数据接入、AI 算法训练、计算资源调度的能力。...
来自: 云产品
异地双活场景下的数据双向同步
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大,对系统高可用性要求越来越高,越来越多用户采用异地双活/多活架构,多活架构往往涉及业务侧做单元化改造,本方案仅模拟用户已做单元化改造后的数据双向同步,数据库采用双主架构,本地写本地读,同时又保证双库的数据一致性,为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤: 方案优势 DTS双向同步,采用独立模块避免数据同步占用系统资源。 奇偶ID涉及,避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全:原生的多租户系统,以项目进行隔离,所有计算任务在安全沙箱中运行。
文档版本:20220209 6 异地双活场景下的数据双向同步 基础环境搭建 步骤8 勾选《云速搭服务条款》,单击下一步:创建资源。步骤9 等待应用部署完成。部署大致需要 15分钟时间,部署完成后,如下:文档版本:20220209 7 异地双活场景下的数据双向同步 基础环境搭建 注意:这里 cen连接了两个 vpc,会自动创建路由,还需要到...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,负载均衡 SLB,容器服务 ACK,数据传输,云企业网,容器镜像服务 ACR,云解析DNS
生活物联网平台
阿里云IoT针对消费级智能设备领域的物联网平台,为解决设备快速智能化中常遇到的设备连接、App控制、设备消息推送、语音控制、设备管理、数据统计等问题,提供一整套配置化方案,大幅减低“设备-云端-App”的开发成本。
定义物模型,支持标准和自定义功能,便于语音控制和互联互通.调试真实设备,验证设备端、云端、App端,三端上下行数据通信.大幅简化了App开发任务,快速配置设备面板、告警消息、多语言等.成唯一的设备证书,支持多种烧录形式,例如一机一密.解决方案模板页-步骤条.快速开发、全球售卖、安全合规.生活物联网平台支持中国...
来自: 云产品
云企业网CEN
阿里云云企业网CEN(Cloud Enterprise Network)是一款能够快速构建混合云和分布式业务系统的全球网络服务。您可以使用阿里云优质、高效、稳定的网络传输环境,打造一张具有企业级规模和通信能力的云上网络,方便全球用户就近接入阿里云。适用于集团企业、跨境组网、云上云下互联、跨地域互联、全球网络、混合云网络等场景。
服务使得用户无需自异地容灾中心,软件成本也转为OPEX,极大降低成本.应用故障转移至阿里云.本地数据中心发生无法短期恢复的故障时,在阿里云上恢复应用运行。待本地数据中心恢复后,做故障回复操作将应用切回本地.本地服务器保护和恢复.对于虚拟机服务器,灾备一体机可以方便的对整机进行备份和恢复.灾备一体机可以对...
来自: 云产品
互联网电商行业离线大数据分析
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示,如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示,效果震撼,触控大屏支持用户自助查询数据,极大地增强数据的可读性。
扬流 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-06-26 弦望 隐林 创建 V1.1 2019-07-24 筱晖-文档优化、验证 V1.2 2019-10-10 弦望-新增最佳实践概述 V1.3 2019-12-04 弦望-新增git下载democode V1.4 2020-01-13 弦望-对齐大数据产品最新功 能 V1.5 2020-02-03 弦望-新增数据服务API开发 的HTTPS说明 V1.6 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,API网关,云速搭CADT
虚拟桌面架构的高性能体验云上部署
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于: 1.有许可证合规要求,利用自带license快速上云的客户。 2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势,构建云上更加高效、高性 能体验的服务,为客户解决: 1.客户VDI部署的需求,能够更及时的得到满足。 2.解决硬件资源限制,根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等,提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC(专有网络) SLB(负载均衡) CEN(云企业网) 专有宿主机 OpenAPI
虚拟桌面架构的高性能体验云上部署 最佳实践 场景描述 业务架构图 针对自虚拟化桌面架构迁移阿里云,以及有虚拟化桌面 架构需求上云。包括但不限于:1.有许可证合规要求,利用自带 license快速上云的客户。2.对数据安全较高要求,需要快速构建虚拟化桌面的客 户。产品列表 解决问题 VPC(专有网络)利用云上灵活性和规模...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云企业网,专有宿主机
高速通道
阿里云高速通道(Express Connect,简称EC)是一款基于IPVPN便捷高效的网络服务。帮助不同网络环境间实现高速、稳定、安全的私网通信,包括跨地域/跨用户的VPC内网互通、专线接入及混合云等场景,极大提高网络拓扑的灵活性和跨网络通信的质量与安全性。
之前通过云下自IDC对外提供业务,后续基于阿里云VPC在各地域搭建新的业务系统。通过专线实现云上VPC与云下IDC数据互通,完美实现云下IDC到云上VPC的平滑迁移.在云上不同地域下基于VPC搭建安全隔离的业务系统.高速通道使用私网通信,通信质量有保证.云下IDC与云上VPC数据互通,轻松实现业务迁移.云下IDC和云上VPC之间通过...
来自: 云产品
中间件
阿里云中间件产品支撑了淘宝、天猫、盒马、菜鸟、高德等阿里巴巴集团核心业务,整合了阿里云计算、存储、网络等基础产品,服务百万企业与开发者,助力系统稳定高效运行。
相关产品 云消息队列 Kafka 版 最佳实践 骑士卡:基于 Kafka 搭建消息中心,上亿消息推送轻松完成 二维火 二维火使用阿里云云微消息队列 MQTT,可实现智能设备端之间、智能设备端与云端微服务之间的完全互通,同时满足业务对于高可用、高并发、安全性等需求。相关产品 云消息队列 MQTT 版 最佳实践 二维火:智能餐饮云端...
来自: 云产品
< 1 2 3 4 ... 16 >
共有16页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用