开源大数据平台 E-MapReduce 相关资源
阿里云大数据平台 E-MapReduce 提供详细的产品文档，面向开发者提供全方位的服务，有免费的实验课程和解决方案体验馆，帮助您快速上手。在阿里云 E-MapReduce 开发者社区，您可以和更多开发者交流。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台开源大数据平台 E-MapReduce开源大数据平台 E-MapReduceEMR on ECSEMR on ACKE-MapReduce Serverless StarRocks 版EMR Serverless Spark 版产品概述产品功能选型与定价入门与试用技术解决方案相关资源控制台文档联系我们立即购买...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
创建函数前必须先创建服务，服务就像函数的集合，同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置等。文档版本：20240408 8 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 服务名称：根据实际业务自行填写。服务角色：默认选择 AliyunFcDefaultRole，如果下拉框没有，可以点击创建默认 ...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
一键释放资源.61 文档版本：20240330 III基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 最佳实践概述 最佳实践概述 方案概述 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka，可能是自建开 源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提 下Kafka...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
阿里云微服务引擎（MSE）解决问题 阿里云容器服务（ACK） 安全组 因为K8s的HPA设置相对复杂，默认提供 云速搭CADT 的CPU和内存不能满足实际需求（尤其是 Java技术栈），所以可以将弹性波动大的服 务部署在SAE，借助SAE更丰富的HPA规 则应对流量脉冲。 K8s架构向Serverless架构迁移的平滑过 渡。最佳实践...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
创建函数前必须先创建服务，服务就像函数的集合，9 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 同一个服务下的所有函数共享一些相同的设置，例如服务授权和日志配置等。l 服务名称：根据实际业务自行填写。l 服务角色：默认选择 AliyunFcDefaultRole，如果下拉框...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
微服 务的好处在于快速迭代，迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具，常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务注册配置中心、微 服务治理和云原生网关等一系列高性能和高可用的企业级 云服务能力。方案优势 本实践通过云速搭CADT，一键完成基础环境的搭建和部 署，提供...
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
文档版本：20220121 2 游戏业务分区合服最佳实践 游戏业务概述 对多台云服务器进行流量分发的负载均衡服务，可 Server Load SLB 以通过流量分发扩展应用系统对外的服务能力，通 Balancer 过消除单点故障提升应用系统的可用性。Elastic 是一种弹性可伸缩的计算服务，助您降低 IT 成 ECS Compute 本，提升运维效率，使您更...
微服务引擎的线上流量治理
随着业务不断创新，微服务架构及数字化转型不断落地，在这个过程中，大量企业采用了开源的组件构建了微服务，比如有开源微服务全家桶之称的Spring Cloud体系或Apache Dubbo等，微服务的好处之一，在于快速迭代，如何在迭代过程中保障线上流量不受损？ 开源产品无运维工具，常常需要投入较大的运维人力和成本。 本实践将重点介绍如何快速集成主流开源微服务框架，实现业务零改造，解决开源框架在生产落地过程中的痛点，例如无损上下线、标签路由等，并通过托管微服务开源组件（API网关、注册中心、配置中心等）的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助企业释放业务无关的运维成本，聚焦业务本身的运维和发展。 方案优势 快速集成：通过JavaAgent技术实现Sping Cloud和Dubbo框架可以实现业务零改造接入。 免运维：托管微服务依赖开源中间件的服务，提供白屏化监控告警、容灾、宕机重启、扩缩容等能力，帮助我们客户释放业务无关的运维成本，聚焦自身业务本身的运维和发展。 开源增强：提供开源框架在生产落地过程中的痛点，例如应用无损上下线/金丝雀发布/南北+东西流量打通等，帮助客户的业务提高自身SLA和降低自研成本。
本实践将重点介绍如何快速集成主流开源微服 务框架，实现业务零改造，解决开源框架在生产 落地过程中的痛点，例如无损上下线、标签路由 等，并通过托管微服务开源组件（API网关、注 册中心、配置中心等）的服务，提供白屏化监控 告警、容灾、宕机重启、扩缩容等能力，帮助企 业释放业务无关的运维成本，聚焦业务本身的运 ...
云原生网关解决方案
云原生网关是阿里云提供的下一代网关解决方案，将流量网关 Nignx、微服务网关和安全网关三合一，解决了三层网关架构独立设计、独立运维导致的资源消耗大、性能损耗大、稳定性难控、安全防护复杂等难题。
应用实时监控服务 ARMS 作为一款云原生可观测产品平台，包含前端监控、应用监控、云拨测、Prometheus 监控、Grafana 服务等子产品.Web 应用防火墙 WAF.Web 应用防火墙对网站或者 APP 的业务流量进行恶意特征识别及防护，将正常、安全的流量回源到服务器.企业级分布式应用服务 EDAS.支持部署于 Kubernetes/ECS，无侵入支持 ...
来自：
解决方案
互联网电商行业离线大数据分析
电商网站销售数据通过大数据分析后将业务指标数据在大屏幕上展示，如销售指标、客户指标、销售排名、订单地区分布等。大屏上销售数据可视化动态展示，效果震撼，触控大屏支持用户自助查询数据，极大地增强数据的可读性。
数据服务API开发 MC的数据源已经自动接入，可以在dataworks的数据源列表查看到。步骤1在新增业务流程之前，需要先登录到API网关控制台 通过点击架构图的API实例“前往控制台”互联网电商行业离线大数据分析 在分组管理-点击创建分组，分组名称为“mc_datav”二级域名也可以直接调用，不过仅供测试使用，每个二级域名每天...
负载均衡
阿里云负载均衡（Server Load Balancer，简称SLB）是云原生时代应用高可用的基本要素。通过对多台云服务器进行均衡的流量分发调度，消除单点故障提升应用系统的可靠性与吞吐力。阿里云SLB包含面向4层（TCP/UDP）的传统型负载均衡CLB和面向7层（HTTP/HTTPS/QUIC）的应用型负载均衡ALB，是阿里云官方云原生网关。
无论是使用阿里云ACK/ASK/SAE还是开源K8S，云原生网络均可用到负载均衡服务来实现流量调度.与ACK/SAE/K8S深度集成，是阿里云官方云原生Ingress网关.负载均衡提供完善的API能力，支持GRPC协议，实现海量微服务间的高效API通信.跨地域网络应用场景.跨地域跨可用区的容灾方案。互联网/金融/企业等业务逐步遍及全球，需要将不同...
来自：
云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
计算引擎完整支持开源Spark计算模型以及编程接口，提供高性能、低成本、稳定可靠的分布式计算服务，满足用户在Lindorm数据生产、交互式分析、机器学习和图计算等场景中的计算需求，支持对海量数据的高并发处理.深度集成阿里云时空数据库引擎Ganos，具备高效的时空多维索引和空间/时空查询能力，可结合流引擎与计算引擎实现...
来自：
云产品
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
云服务器 ECS免去了您采购 IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服 务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见：https://www.aliyun.com/product/ecs 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
简化统一开发体验基于 SelectDB 的湖仓互通、轻量级 ELT 能力，无缝完成数据源到数仓的数据同步、清洗过程，无需依赖 Spark 和 Flink。使用 SelectDB 作为统一查询网关，无需进行多系统切换及 SQL 方言兼容处理。极速数据分析基于 SelectDB 领先的查询分析引擎，结合数据缓存、统计信息收集等，SelectDB 分析性能可达 ...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您